此时，朱元璋需要一个专门管理军队事务的军事机构。大都督府应运而生，由于这一机构非常重要，第一任大都督是朱元璋的侄子朱文正。起初，大都督府的权力非常大，同时拥有调兵权和各地驻军管理权。从明朝开始，皇权明显加强。作为最高统治者，开国皇帝朱元璋不甘心自己的权力被分割。尤其是中书省和大都督府，公元1380年，朱元璋杀掉了丞相胡惟庸，并且撤销了中书省这个机构。
从此以后，延续了上千年的丞相制度被废除，六部开始直接向皇帝负责，六部的权柄明显加强。就在同一年，朱元璋改革了大都督府，将大都督府改成了前军、后军、中军、左军、右军5个都督府。每个都督府设立左都督和右都督，品级均为正一品。随着五军都督府的出现，标志着武将集团对军权控制力的削弱。五军都督府丧失了大都督府拥有的议政权，开始不得不听命于皇帝。
此时，五军都督府的地位仍高于兵部。因为各地军户的管理、各省驻军的训练和管理、各地将领的升迁，都隶属于五军都督府。六部之一的兵部，在明朝初期仅仅拥有各地驻军的调动权。《明史》中清晰讲述了五军都督府与兵部的关系：“明以武功定天下，革元旧制，自京师达于郡县，皆立卫所。外统之都司，内统于五军都督府，而上十二卫为天子亲军者不与焉。
征伐则命将充总兵官，调卫所军领之，既旋则将上所佩印，官军各回卫所。”由此可见，五军都督府拥有统兵权，兵部则拥有调兵权。五军都督府与兵部之间的关系并不和睦，一直在明争暗斗。从表面来看，这是两个机构的权力斗争。但是实际上，则是武将勋贵集团与文官集团的博弈。在明朝统治的前期，武将勋贵集团拥有很高的地位，各位国公或者侯、伯，基本上都在五军都督府任职。
随着文官集团整体影响力的上升，很大程度上，挤压了武将勋贵集团的权力空间。尤其是内阁制度形成以后，内阁开始凌驾于六部之上，同时自然也凌驾于五军都督府之上。内阁开始直接触及军事指挥权，与五军都督府发生了激烈的碰撞。至于兵部的地位，自然也是水涨船高。一次军事行动的惨败，很大程度上大大削弱的武将勋贵集团的势力，同时重创了五军都督府。
在明英宗在位时期，明朝开始大规模北伐，反击蒙古瓦剌部落的进攻。但是在土木堡战役中，将近20万明朝精锐力量全军覆灭，明英宗朱祁镇本人被俘。武将勋贵集团中，不少国公、侯爵、伯爵阵亡，武将勋贵集团的能力大大削弱。在这次浩劫中，五军都督府暴露了各方面的问题。明代宗朱祁钰上台以后，亲信官员于谦以兵部尚书的身份提督京营。
在此之前，这一权力一直属于五军都督府。在明代宗在位时期，兵部开始逐步插手武将的任免、各地驻军的训练和管理工作，并且把这些权力牢牢控制在兵部的手里。例如兵部的武选司，开始负责各地武将的升迁和调任。由此可见，五军都督府的地位迅速下降。明英宗朱祁镇复位以后，并没有重新恢复五军都督府昔日的权力和地位。按照《明史》的记载：“凡军制内外相维，武官不得辄下符征发。
自都督府，都指挥司，留守司，内外卫守御、屯田、群牧千户所，仪卫司，土司，诸番都司卫所，各统其官军及其部落，以听征调、守卫、 朝贡、保塞之令。”在明朝统治中期，兵部已经开始逐步架空五军都督府，内阁则更在兵部之上。由于武将石亨曾经密谋造反，引发了明朝皇室对武将勋贵集团的极度不信任，武将勋贵集团的地位和影响力日益衰落。
此时的五军都督府，只剩下了对各省军户和屯田的管理权。兵部则一片片割掉了五军都督府所有的肉，在明宪宗朱见深在位时期，军户和屯田管理权开始划归兵部。在此以后，五军都督府彻底成为了一个虚职的军事机构，主要是为那些武将勋贵集团的子弟们，安插工作机会，从此远离了权力核心圈。对于五军都督府和兵部的关系，《明世宗实录》中出现了一针见血的评论：“凡天下将士兵马大数，荫授、迁除与征讨进止机宜皆属之。
十三年分大都督府为五军都督府，见若以为品秩如其故者，而兵部阴移之，其权渐分矣。所谓五都督者，不过守空名与虚数而已。”由此可见，到了明朝统治的中期，兵部全面架空了五军都督府，文官集团彻底架空了武将勋贵集团。在嘉靖、隆庆、万历时期，明朝各地的总督、巡抚们，以挂职兵部尚书或者兵部侍郎的身份，节制各地的将领们。
