太祖建隆二年閏三月，以慕容延釗爲山南東道節度使。先是，帝受禪，延釗握重兵屯眞定，韓令坤領兵巡北邊。帝遣使諭意，許以便宜從事，兩人皆聽命，乃加延釗殿前都點檢，令坤亦加侍衞指揮使。至是，延釗自眞定來朝，令坤亦從討李重進還，皆罷爲節度使。自是殿前都點檢不復除授。
秋七月，罷侍衞都指揮使石守信等典禁兵。初，石守信、王審琦等皆帝故人，有功，典禁衞兵。趙普數以爲言，帝曰：「彼等必不吾叛，卿何憂之深邪？」普曰：「臣亦不憂其叛也。然熟觀數人者，皆非統御才，恐不能制伏其下，則軍伍間萬一有作孽者，彼臨時亦不能自由爾。」帝悟。一日，召普從容論天下之事，因喟然歎息曰：「自唐季以來數十年間，八姓十二君僭竊相踵，兵革不息，生民塗炭。吾欲息天下之兵，建久長之計，其道何如？」普對曰：「陛下之及此言，天地神人之福也。節鎭太重，唯稍奪其權，則天下自安矣。」帝曰：「卿勿復言，吾已喻矣。」頃之，帝因晚朝，與石守信等飲，酒酣，屏左右謂曰：「朕非卿等不及此。然天子亦大艱難，殊不若爲節度使之樂，朕終夕未嘗敢安枕臥也。」守信等請其故，帝曰：「是不難知，此位誰不欲爲！」守信等頓首曰：「陛下何爲出此言？今天命已定，誰復有異心！」帝曰：「卿等固然，其如麾下欲富貴何？一旦有以黃袍加汝身，汝雖欲不爲，其可得乎！」守信等泣謝曰：「臣等愚不及此，惟陛下哀矜，指示可生之途。」帝曰：「人生如白駒過隙，所以好富貴者，不過欲多積金錢，厚自娛樂，使子孫無貧乏爾。卿等何不釋去兵權，出守大藩，擇便好田宅市之，爲子孫立永遠不可動之業；多置歌兒舞女，日夕飲酒相歡，以終天年。朕且與卿等約爲婚姻，君臣之間，兩無猜疑，上下相安，不亦善乎？」守信等皆謝曰：「陛下念臣等至此，所謂生死而肉骨也。」明日，皆稱疾，乞罷典兵。帝從之，以守信爲天平節度使，高懷德爲歸德節度使，王審琦爲忠正節度使，張令鐸爲鎭寧節度使，趙彥徽爲武信節度使，皆罷宿衞就鎭，賜賚甚厚，唯石守信兼職如故，其實兵權不在也。已而欲用天雄節度使符彥卿典禁兵，趙普諫曰：「彥卿名位已甚，豈可復委以兵柄？」帝曰：「朕待彥卿厚，豈忍相負耶？」普對曰：「陛下何以能負周世宗？」帝默然，事遂寢。
久之，王彥超及諸藩鎭入朝，帝宴於後苑，酒酣，從容謂之曰：「卿等皆國家宿舊，久臨劇鎭，王事鞅掌，非朕所以優賢之意也。」彥超諭意，卽前奏曰：「臣本無勳勞，久冒榮寵，今已衰朽。乞骸骨，歸丘園，臣之願也。」安遠節度使武行德、護國節度使郭從義、定國節度使白重贊、保大節度使楊廷璋競自陳攻戰閥閱及履歷艱苦。帝曰：「此異代事，何足論？」明日皆罷鎭，奉朝請。
- 胡一桂曰：太祖深思天下唐末以來，生民塗炭，知所以處藩鎭收兵權之道。旣以從容杯酒之間，解石守信等兵權，復以後苑之宴，罷王彥超等節鎭，於是宿衞、藩鎭不可除之痼疾，一朝而解矣。
乾德元年春正月，初以文臣知州事。五代諸侯强盛，朝廷不能制，每移鎭受代，先命近臣諭旨，且發兵備之，尚有不奉詔者。帝卽位初，異姓王及帶相印者不下數十人。至是，用趙普謀，漸削其權，或因其卒，或因遷徙致仕，或因遙領他職，皆以文臣代之。
夏四月，詔設通判於諸州，凡軍民之政皆統治之，事得專達，與長吏均禮。大州或置二員。又令節鎭所領支郡皆直隸京師，得自奏事，不屬諸藩，於是節度使之權始輕。時符彥卿久鎭大名，專恣不法，屬邑頗不治，故特選常參官强幹者往涖之，自是遂着爲令。
三年三月，初置諸路轉運使。自唐天寶以來，藩鎭屯重兵，租稅所入，皆以自贍，名曰留使、留州，其上供者甚少。五代藩鎭益强，率令部曲主場務，厚斂以入己，而輸貢有數。帝素知其弊。趙普乞命諸州度支經費外，凡金帛悉送汴都，無得占留。每藩鎭帥缺，卽令文臣權知所在場務。凡一路之財，置轉運使掌之，雖節度、防禦、團練、觀察諸使及刺史，皆不預簽書金穀之籍，於是財利盡歸於上矣。
八月，選諸道兵入補禁衞。先是，帝詔殿前、侍衞二司，各閱所掌兵，揀其驍勇者升爲上軍。至是，命諸州長吏擇本道兵驍勇者送都下，以補禁旅之闕。又選强壯卒定爲兵樣，分送諸道，召募教習，俟其精練，卽送闕下。復立更戍法，分遣禁旅戍守邊城，使往來道路，以習勤苦、均勞佚。自是將不得專其兵，而士卒不至於驕惰，皆趙普之謀也。
帝謂宰臣曰：「五代諸侯跋扈，有枉法殺人者，朝廷置而不問。人命至重，姑息藩鎭當如是邪！自今諸州決大辟，錄案聞奏，付刑部詳覆之。」
帝復問趙普以文臣有武幹者，普以左補闕辛仲甫對，帝遂用之爲四川兵馬都監。因謂普曰：「五代方鎭殘虐，民受其禍。朕今用儒臣幹事者百餘人分治大藩，縱皆貪濁，亦未及武臣十之一也。」
- 呂中曰：天下之所以四分五裂者，方鎭之專地也；干戈之所以交爭互戰者，方鎭之專兵也；民之所以苦於賦繁役重者，方鎭之專利也；民之所以苦於刑苛法峻者，方鎭之專殺也；朝廷命令不得行於天下者，方鎭之繼襲也。太祖與趙普長慮卻顧，知天下之弊源在乎此，於是以文臣知州，以朝官知縣，以京朝官監臨財賦，又置運使，置通判，皆所以漸收其權。朝廷以一紙下郡縣，如身使臂，如臂使指，無有留難，而天下之勢一矣。
帝旣定計盡收諸宿將兵柄而削藩鎭權，尤注意命將分部守邊，具得要領。以趙贊屯延州，姚內斌守慶州，董遵誨屯環州，王彥昇守原州，馮繼業鎭靈武，以備西夏；李漢超屯關南，馬仁瑀守瀛州，韓令坤鎭常（州）〔山〕，據宋史二五一韓令坤傳改。賀惟忠守易州，何繼筠領（隶）〔棣〕州，據宋史二七三何繼筠傳改。以拒北狄；又以郭進控西山，武守琪戍晉州，李謙溥守隰州，李繼勳鎭昭義，以禦太原。其家族在京師者，撫之甚厚。郡中筦榷之利悉與之，恣其圖回貿易，免所過征稅。令召募驍勇以爲爪牙。凡軍中事，許從便宜。每來朝，必召對，命坐，賜以飲食，錫賚殊異。由是邊臣皆富於財，得以飬募死士，使爲間諜，洞知蕃情。每入寇，必能先知預爲備，設伏掩擊，多致克捷。自此累年無西北之虞，得以盡力東南，取荊、湖、川、廣、吳、楚之地。
漢超在關南，民有訟其强娶己女爲妾及貸民錢不償者。帝召訟者，謂曰：「汝女可適何人？」對曰：「農家爾。」又問：「漢超未至關南時，契丹何如？」對曰：「歲苦侵暴。」曰：「今復爾邪？」對曰：「無也。」帝曰：「漢超，朕之貴臣，汝女爲之妾，不猶愈爲農婦乎？且使漢超不在關南，汝家尚能保其所有貨財邪？」責其人而遣之，密使諭漢超曰：「亟還其女并所貸，朕姑貰汝，勿復爲也。不足於用，何不以告朕邪？」漢超感泣，由是益修政理，吏民愛之。
初，遵誨父宗本仕漢爲隨州刺史。帝微時，客遊至漢東，依宗本。遵誨馮藉父勢，嘗侮之，一日謂帝曰：「每見城上有紫雲如蓋。又夢登高臺，遇黑蛇，約長百尺餘，俄化龍，飛騰東北去，雷電隨之。是何祥也？」帝皆不對。他日論兵，遵誨理屈，拂衣起，帝乃辭宗本去。自是紫雲漸散。及卽位，召遵誨諭之曰：「卿尚記曩日紫雲、黑龍之事乎？」遵誨惶恐再拜。俄而部下卒訴其不法十餘事，遵誨待罪請死。帝曰：「朕方赦過賞功，豈念舊惡邪？」遵誨母在幽州，患難暌離，帝厚賞邊民，購得之，仍加優賜。至是，以環、夏近邊，授通遠軍使。遵誨至鎭，召諸族酋長，諭以朝廷威德，衆皆感悅。後數月，復來擾邊，遵誨率兵深入其境，俘斬甚衆，獲羊馬數萬，夷落以定。
- 陳邦瞻曰：宋祖君臣懲五季尾大之禍，盡收節帥兵柄，然後征伐自天子出，可謂識時勢、善斷割，英主之雄略矣！然觀其任將如此，此豈猜忌不假人以柄者哉？後世子孫不深惟此意，徒以杯酒釋兵權爲美談。至南渡後，奸臣猶託前議，罷三大帥兵以與讎敵連和，豈太祖、趙普之謀誤之耶？然當時務强主勢，矯枉過直，兵財盡聚京師，藩籬日削，故主勢强而國勢反弱矣，亦不可謂非其遺孽也。