建国以后，朱元璋借鉴历史上成败治乱的经验教训，大刀阔斧地开始了以改革旧制、建立高度中央集权为目标的宏伟事业。
朱元璋的体制改革是首先从地方机构开始的。元朝地方设置的行中书省，是从中央的中书省分设出来的。职官的设置同中央中书省一样，掌管着一个省的军政、民政、财政和司法等大权，地位显赫，权力很大。实际上一个行中书省，就是一个小独立王国。朱元璋想要把地方的权利收归中央。
在一番准备之后，朱元璋于洪武九年（1376），下令废除了地方上的行中书省，改设承宣布政使司，简称布政司。布政司设左、右布政使各一人。其权力范围也只限于民政和财政，按照皇上的意志管理地方政事。当时全国共设13个布政司。同时，地方上还设置了管理军事的都指挥使司和管理司法的提刑按察使司。三个机构彼此既各自独立，又相互牵制，同时直接听命于皇帝。从而把行中书省权力一分为三，改变了元代中央权力分散和地方权力过大的强枝弱干局面，使地方权力牢牢掌握在皇帝手中。
实现了对地方行政机构的改革之后，朱元璋又开始集中精力对中央政府机构，首先是总揽天下政事的中书省实行改革。本来中书省在中央的各个权力机构当中，位置最高。其行政长官左、右丞相，又负有统率百官之责，权力很大。明初的第一任左、右丞相分别是李善长和徐达。李善长为人处事，向来以小心谨慎著称。徐达则较多时间是带兵征战在外。他们都没有与皇上朱元璋形成大的矛盾冲突。但相位传给胡惟庸之后，他独揽大权，朱元璋不能容忍相权对君权的威胁，决心废除丞相，把大权掌握在自己一个人手里。
胡惟庸是定远人，与开国第一号功臣李善长的有亲戚关系，他依仗着李善长这个后台当上了左丞相。在朝中独断专行，官员升降、生杀大事，都自作主张，不向朱元璋请示；朝野内外的报告，凡对自己不利的全扣下来；想做官、升官的人，都奔走他的门下，收受金银、绢帛、名马、玩物不计其数。他四处网罗自己的党羽，培植自己的亲信，组织自己的小集团，打击异己力量，称霸天下。
一天，胡惟庸的儿子乘马车在南京城里招摇过市，不小心从车上跌下来摔死了，胡惟庸判车夫抵命，并处死了车夫。朱元璋知道后，十分气愤，他非要胡惟庸偿命不可，胡惟庸请求，向车夫家人赔偿金帛以了此事。朱元璋坚决不准。胡惟庸听了十分紧张，遂坚定了起事政变的决心。
洪武十三年（1380）正月，胡惟庸入奏，诡称其住宅中井出醴（li）泉，请朱元璋去观看。朱元璋好大喜功，信以为真，也就匆匆驾出西华门。他正行进中，突然内使云奇冲上跸（bi）道，拦住车马，慌忙中一时说不出话来。朱元璋以为不敬，即令左右侍卫棍锤乱下。顿时，云奇右臂被砸断，生命垂危。但他仍用左手直指胡惟庸的宅第摇晃。朱元璋猛然醒悟，急忙返驾登城，远远望见胡惟庸宅第中绕有兵气，以此定胡惟庸谋逆，立即发羽林军逮捕胡惟庸，将其抄家灭族。随着明王朝的建立，昔日与朱元璋共同出生入死的将领都已封公封侯，爵高位显。这些功高震主的将领不免做出恃功骄傲、仗势欺人之事。为加强皇帝权威，同时顾虑太子朱标忠厚，镇慑不住功臣名将，朱元璋决定借他们违法之机进行镇压。朱元璋又以与胡惟庸交通谋反的罪名杀掉了一大批功臣勋将，甚至连位居“功臣第一”的年迈77岁的李善长以及全家70多人也全部伏诛，整个胡案前后共杀掉3万多人。
洪武二十五年（1392），太子朱标病故。朱元璋立朱标之子朱允（wen）为皇太孙。朱允炆年轻懦弱，朱元璋对此十分担忧。为解除后顾之忧，洪武二十六年（1393），朱元璋又兴起蓝玉狱。大将蓝玉是洪武中后期的主要将领，作战勇敢，战功赫赫，被封为“凉国公”。但此人居功自傲，骄横不法。朱元璋加以谋反罪名，兴起党狱，将蓝玉斩首并抄斩三族，凡与蓝玉关系密切的朝臣，坐党者则夷灭。蓝玉案先后谋杀15000人，功高位显的元勋旧将几乎杀个干净。这样，朱元璋利用胡、蓝之狱，前后10几年共诛杀功臣45000人，其残忍实千古所未有。
朱元璋宣布撤销中书省，罢除丞相，提高吏、户、礼、兵、刑、工等六部的地位。由六部分理朝政，直接对皇上负责。并且规定，后代皇帝不得再立丞相，大臣中如果有奏请再立者，处以重刑。就这样所有的国事就落到了皇帝一个人身上。朱元璋在8天之内，要看内外诸司奏札1660件，共计3991件事，也就是说平均每天要看或听200多件报告，处理400多件事，平常人是难以承受这一繁重任务的。再加上激烈的政治斗争，使他忧虑江山万世永固，也迫使他辛勤工作。
洪武三十一年（1398）六月，朱元璋病逝，正因为“勤政”，朱元璋成为历史上为数不多具有远见卓识的君主。他一生勤政爱民，实行休养生息的政策，减轻对人民的剥削。因为出生贫苦，深知物力为艰，因此大力提倡节俭，并以身作则、坚持一生。而且他还是一个勤奋好学的君主，从目不识丁到写诗作赋，其恒心和毅力在帝王中是少见的。但他残杀功臣，大兴党狱也实属千古罕见，由此成为历史上争议颇多的帝王之一。
