1946年，国共谈判破裂。第二年3月，蒋介石集结重兵对山东和陕北解放区实施重点进攻。张灵甫的整编74师从南京开拔苏北，两次涟水之战后，74 师连连获胜进入山东。5 月，张灵甫部接令由孟良崮渡汶河，攻取坦埠。
但这一次，张灵甫遇到的是华东野战军的陈毅和粟裕。面对24个整编师的咄咄逼人，陈毅和粟裕决定要以“百万军中取上将首级”的气概，猛虎掏心，从敌人阵线中割歼其主力重兵集团——他们的目光盯住了有蒋介石“御林军”之称的张灵甫74师。
5月13日黄昏，华东野战军第1、第8纵队利用地形掩护，穿插入74师纵深，割断了74师与其他国军的联系。到15日拂晓，第1、第6、第8纵队分别攻占了垛庄和万泉山，完全截断了74师的退路。至此，华野9个纵队共20万人将张灵甫部围困于孟良崮及其以北的狭小地区内。总攻开始了，经过一天一夜的激战，全部美式装备的整编74师在5月16日全军覆没，张灵甫阵亡。
从1946年6月26日蒋介石踌躇满志的命令整编第七十四师向华东解放区进攻，到1947年5月16日全军覆没，张灵甫阵亡。不到一年时间，这支“王牌军”就在孟良崮全军覆没，灰飞烟灭了。
“常胜军”覆灭以及“常胜将军”丧身的消息，像晴天霹雳震撼了国民党的统治中心。蒋介石更是老泪纵横：“以我绝对优势之革命武力，竟为劣势乌合之匪所陷害。真是空前大的损失，能不令人哀痛！”
张灵甫被击毙消息传到南京后。蒋介石极为震怒。蒋介石竟当着众将领的面，勒令对孟良崮惨败负有责任的汤恩伯跪下，举起手杖就打，致使汤恩伯满头是血。
张灵甫阵亡后，蒋介石称其“杀身成仁，为党尽忠。蒋介石为其颁发第3号旌忠状，在南京玄武湖畔为其修建纪念碑，将山东蒙阴县改名为灵甫县，并将英国援助的1艘驱逐舰命名为灵甫号。台湾省高雄县凤山市有张灵甫路，陆军军官学校内有张灵甫纪念馆。
