明朝建立後，明太祖朱元璋效仿宋元的樞密院制度，並在中央設大都督府作為最高軍事機構。
明洪武十三年（１３８０年），朱元璋以“圖謀不軌”罪誅左丞相胡惟庸，並下令廢除在中國歷史上沿襲一千五百多年的宰相制度。朱元璋命令六部直接由皇帝領導，皇帝總攬朝綱，兼併相權，事皆親決。
與此同時，他又把大都督府分為左、右、前、後、中五軍都督府，每府設左右都督和都督同知各一人，都督僉事若干人。
在這一期間，受詔令掌管過大都督府的只有兩人，一為朱文正，是朱元璋長兄之子；二為李文忠，是朱元璋長姐之子，又是其養子。當時朱元璋諸子都還沒有長成，無法效唐高祖李淵以親子領兵。此二人，可說是與朱元璋血緣關係最親近者，卻均因“忤旨”獲罪，朱文正更是因“胸懷怨望＂被鞭殺。儘管因何“怨望”不得而知，但無非就是軍事領導權的爭奪之類。
至於五軍都督府的職能和權力，據《明史 職官志》載：“都督府掌軍旅之事，各領其都司、衛所，詳見《兵志 衛所》中以達於兵部。……有大征討，則掛諸號將軍或大將軍、前將軍、副將軍印總兵出，既事，納之。其各府之掌印及僉書，率皆公、侯、伯。間有屬老將之實為都督者，不能十一也。”
五軍都督府繼承大都督府的最高軍事統兵權，掌管除錦衣衛等中央禁衛軍外的所有衛所，但沒有調兵的權利。調兵則由皇帝透過兵部發布號令。
總的來說，五軍都督府的基本職責主要有四項：衛所將領的選拔、更替，衛所軍的訓練，軍戶屯田的管理和軍事情報的掌控。
五軍都督府及其所轄各衛所，其實已經變成對龐大的衛所繫統管理的中央最高管理機構，兼具軍事組織管理與行政管理。
不過，各都督府卻互不相屬，僅與兵部聯絡。五軍都督府與兵部分掌兵權。“兵部有出兵之令，而無統兵之權；五軍有統兵之權，而無出兵之令。”（《春明夢餘錄•兵部》）兩個機構互相牽制，便於皇帝集權。至明中後期，兵部尚書或侍郎有時可直接掌握京營訓練，五軍都督府成了擺設。
兵部根據皇帝旨意出軍令，尚書掌控天下武衛官軍選授、簡練的政令，所屬四清吏司，武選司掌衛所、土官選授、升調、襲替、功賞；職方司掌輿圖、軍制、城隍、鎮戍、簡練、征討；車駕司掌鹵簿、儀仗、禁衛、驛傳、廄牧；武庫司掌戎器、符勘、尺籍、武學、薪隸。
但是，軍令的釋出、軍隊的調遣，高階將領的任命，都得先經過廷議，請旨後才頒佈。
兵部尚書侍郎僅在受命為“協理京營戎政”、“提督團營”或“提督軍務”時，才能參與統兵。而用的調兵的令符火牌等，平時都掌握在內府御馬監手中。
明朝的地方軍事長官，剛開始是都指揮使。一旦發生戰事，則由中央派都督府官或公、侯、伯為總兵官征討，戰事結束後就回到原來的職位。
後來，因邊疆多事，原臨時派出的總兵官留下鎮守，成為固定官員。內地的軍事要地也設總兵官鎮守，都指揮就是總兵官的部下。
明朝軍事領導的基本原則是兵權分割，以文制臣，以內製外，文武、內外相互制約，完全避免了軍權旁落。
不過，這也嚴重影響到軍隊的機動性和戰鬥力，在對外防禦戰爭中，每每處於被動地位。
最典型的，就是與蒙古瓦剌土木堡之戰，明英宗聽從太監王振的可笑決策，結果導致明朝幾十萬大軍潰不成軍，明英宗自己也被敵軍俘虜。
可見，軍事體制的落後與僵化，往往會有滅國的危險。
