李善长由于长期位高权重，因此慢慢也有了骄横之心，加上胸怀狭隘妒忌，对不同意见的官员，多行排挤。如参议李饮冰、杨希圣稍有侵犯李善长的权力，他立即考察他们的过失，上奏免去了他们的官职。后来连老臣刘基也因某一法律条文与他发生争辩且对骂。由于压力，自己感到不安，刘基就请求致仕回乡了。李善长位居人臣之首，富贵至极，也逐渐骄傲起来，朱元璋也开始暗暗讨厌他。洪武四年，李善长因病辞官，朱元璋赐给他临濠的田地若干顷，设置守坟户150家，又给佃户1500家，仪仗士20家。隔了一年，李善长病愈，朱元璋任命他主持修建临濠的宫殿，迁徙江南一带的富有百姓14万到濠州种田，让李善长经营管理，为此他留居在濠州几年。七年，提升李善长的弟弟李存义做太仆寺丞，存义的儿子李伸、李佑都做了郡牧所官。九年，朱元璋把长女临安公主下嫁给李善长的次子李祺，封李祺做驸马都尉。起初确定婚姻仪礼，公主遵行儿媳的规矩很恭敬，李善长一家荣耀显赫，很使当时满朝文武羡慕。李祺娶公主以后一个月，御史大夫汪广洋、陈宁上疏说：“李善长轻慢皇上宠信，骄傲放纵，陛下生病不能上朝理事将近十几天，也不问候，驸马李祺六天不朝见，把他叫到殿前，他又不知认罪自责，这是很大的罪过。”因此定罪削去李善长每年的俸禄1800石。不久任命他和曹国公李文忠掌管中书省、大都督府、御史台，共同议定军国大事，监督圜（huan）丘工程。
丞相胡惟庸，起初为宁国县知县，由于李善长的荐引，提升为太常寺少卿，后来成为丞相，因此两人互相很有交往。而李善长弟弟李存义的儿子李佑，是胡惟庸的侄女婿。洪武十三年，胡惟庸谋反被杀，牵连为胡党而判罪被杀的人非常多，而李善长像以前一样未受什么牵连。御史台缺中丞，朱元璋还让李善长治理御史台的事情，他多次提出建议。但到了洪武十八年，有人告发李存义父子实际上勾结胡惟庸，朱元璋下诏书免去他们的死罪，安置到崇明。李善长没有为此感谢恩典，朱元璋怀恨在心。又过了五年，李善长的年纪已经77岁，年老行为更不检点。他曾经想建自己的住宅，就向信国公汤和借300名侍卫兵士，汤和秘密报告朱元璋。四月，京师有一批判罪应当迁徙到边地去，李善长的亲信丁斌等人也在其内，李善长几次请求不要迁徙他们。朱元璋为此大为生气，审问丁斌。丁斌以前在胡惟庸家做事，因此说出李存义等人以前与胡惟庸交往情状。命令逮捕李存义父子审讯，他们供出的案情牵连到李善长，说：“胡惟庸准备谋反的时候派李存义暗地去劝说李善长。善长吃惊地大声呵的斥说：‘你说什么胡话，要是让人知道你干的事，这是要灭九族的。’后来，胡惟庸又派李善长的老部下杨文裕去游说李善长，说：‘事情如果成功的话，当用淮西地方封他为王。’李善长惊骇没有答应，过了很久，胡惟庸再次派李存义前去游说，李善长长叹着气说：‘我年纪大了。等我死以后，你们自己去干吧。’”又有人告发李善长说：“大将军蓝玉领兵出塞外，到捕鱼儿海，捕获得胡惟庸勾结沙漠的使者，李善长将他藏匿起来不向上报告。”于是御史们不断上章弹劾李善长。而李善长的奴仆卢仲谦等人，也揭发李善长与胡惟庸互赠财物，交结私语。罪名于是成立，说李善长身为功臣元勋、皇亲国戚，知道谋反的阴谋而不告发，怀疑观望，心怀两端，真是大逆不道。正巧这时有人报告星象有异常变化，预示应当改换重臣应灾。于是李善长及其妻子、儿子、兄弟、子侄全家70多人都被诛杀。而吉安侯陆仲亨、延安侯唐胜宗、平凉侯费聚、南雄侯赵庸、荥阳侯关遇春、宜春侯黄彬、定南侯陆聚等人，都同时作为胡惟庸同党被杀。而已经死去的追加定罪的人也有许多。朱元璋亲手书写条列他们的罪状，附上供词，作为《昭示奸党三录》，布告天下。李善长的儿子李祺和公主被迁徙到江浦，过了很长时间死去，李祺的儿子李芳、李茂，因为公主的恩情没有定罪，李芳为留守中卫指挥，李茂为旗手卫镇抚，都免去了世袭。
李善长死去的第二年，虞部郎中王国用上书说：“李善长和陛下同心，出生入死而取得天下，是功臣第一人。生前封为公，儿子娶了公主，亲戚都被任命了官职，作为大臣的名位到了顶点。假如说他自己想要图谋不轨，尚未可知，可是如今说他打算辅佐胡惟庸，那就大错特错了。爱自己的儿子必然超过兄弟的儿子，这是人之常情，安定地享受着万全富贵的人，必定不会怀着侥幸心理去追求那可能性只有万分之一的宝贵。李善长和胡惟庸是子侄辈之间的亲戚罢了，而他与皇上却是亲子女间的亲属。假使李善长辅佐胡惟庸谋反成功，他也不过是功臣第一人而已，太师国公封为王而已，儿子娶公主，女儿成为妃嫔而已，难道还会比今天更加富贵的吗？况且李善长难道不知道天下不可以侥幸取得？元朝末年的时候，想要取得天下的人不知有多少，结果没有不粉身碎骨、灭绝宗祀的，能够保全脑袋的有几个人？李善长为什么亲眼见到这种情况，却又在衰老疲倦的年纪去蹈杀身灭宗之祸呢？凡是干这种事的人，一定有深重仇恨，激起变化，在万不得已的情况下，父子之间或许互相挟制而希求逃脱灾祸。如今李善长的儿子李祺完全是陛下的骨肉至亲，没有丝毫的仇怨，何苦忽然做这种事？如果说天象告变，大臣当灾，杀了李善长以应上天的警示，那就更不应该了。我担心天下人知道这件事后，会说功劳大得像李善长那样尚且有这样下场，四方将会因此而瓦解。如今李善长已经死去多年，说也没有益处，我只是希望陛下将来以此作为鉴戒罢了”。朱元璋得到这件奏疏，竟然没有怪罪他。
