突厥沙缽略可汗因其妻為北周千金公主，便以為北周復(fù)仇為借口，聯(lián)合原北齊營(yíng)州刺史高寶寧，于十二月攻占臨榆鎮(zhèn)。并聯(lián)絡(luò)各部，準(zhǔn)備大舉攻隋。二年春，楊堅(jiān)調(diào)整部署，于并州置河北道行臺(tái)尚書省，以晉王楊廣為尚書令;在洛陽(yáng)置河南道行臺(tái)尚書省，以秦王楊俊為尚書令;在益州置西南道行臺(tái)尚書省，以蜀王楊秀為尚書令;并不斷調(diào)兵遣將加強(qiáng)北方各要地守備，以御突厥。在元景山部擊敗陳將陸綸水軍，攻占損口、沌陽(yáng)，陳被迫歸還胡墅、遣使請(qǐng)和后，又詔令高颎撤軍，與陳朝結(jié)好，準(zhǔn)備北擊突厥。楊堅(jiān)利用突厥各可汗間的矛盾，采納奉車都尉長(zhǎng)孫晟建議，實(shí)行“遠(yuǎn)交而近攻，離強(qiáng)而合弱”的策略，先后派出使臣結(jié)好西面的達(dá)頭可汗和東面的處羅侯(沙缽略之弟)，以分化、削弱沙缽略的力量。
二年五月，沙缽略可汗率本部與阿波可汗等各可汗兵40萬(wàn)突入長(zhǎng)城，分路攻掠北方要地。隋軍曾分別在馬邑、可洛峐擊敗來(lái)犯突厥軍，但未能阻止其攻勢(shì)。十二月，突厥大軍深入到武威、金城、天水、上郡、弘化、延安等地，大掠牲畜、財(cái)物等。在周槳之戰(zhàn)隋軍頑強(qiáng)抗擊沙缽略主力后，突厥達(dá)頭可汗不愿繼續(xù)南進(jìn)，引兵自去。長(zhǎng)孫晟乘機(jī)通過(guò)沙缽略之侄染干詐告：鐵勒等反，欲襲其牙帳。沙缽略恐其后方生變，遂撤兵北返。
隋經(jīng)三年防御作戰(zhàn)，爭(zhēng)取了時(shí)間，基本上完成了反攻準(zhǔn)備;而突厥則因隋之分化、離間政策，內(nèi)部矛盾加深，加以災(zāi)荒嚴(yán)重，其勢(shì)愈加不利。三年春，沙缽略再率各可汗兵南犯。四月上旬，楊堅(jiān)下達(dá)“清邊制勝”詔令，命衛(wèi)王楊爽等為行軍元帥，率隋軍主力20萬(wàn)分道反擊突厥，以從根本上擊破沙缽略，穩(wěn)固北部邊防。隋軍先后在白道、高越原、靈州、和龍等地各個(gè)擊敗突厥各部，并乘機(jī)說(shuō)服阿波可汗歸隋，進(jìn)一步促成突厥內(nèi)亂，使沙缽略與阿波等相互攻戰(zhàn)不止。四年春，達(dá)頭可汗降服于隋。秋，沙缽略因?qū)覟樗遘娝鶖『桶⒉ㄜ姴粩喙?，也向隋求和稱藩。隋軍反擊突厥獲勝，北部邊患基本消除，解除了南下滅陳的后顧之憂。