1956年9月在中共第八次全国代表大会上作《为中国人民解放军的现代化而斗争》的报告，并当选为中央委员和中央政治局委员。
1953年12月受中共中央委托，主持全国军事系统党的高级干部会议，代表作《四年来的军事工作总结和今后军事建设上的几个基本问题》的报告。会议根据毛泽东对军队建设的要求，确定把人民解放军建设成为一支优良的现代化革命军队的总方针和总任务，提出建设现代化革命军队的具体途径，规定党对军队的领导制度是党委集体领导下的首长分工负责制等，推动了人民军队的正规化、现代化建设。
1954年9月起任国务院副总理兼国防部部长、国防委员会副主席。在中共中央和毛泽东的领导下，与军委其他领导同志密切合作，领导实行军队组织机构和重大制度的改革，加强技术兵种建设，创办各类军事院校，建立军事科学研究机构，实行义务兵役制、军衔制、薪金制、授勋授奖制度等，使人民解放军在保持和发扬优良传统的基础上，逐步实现从单一军种到诸军兵种合成军队的历史性转变，使全部军事工作从战时状态转入平时建设轨道。为了建设巩固的国防和准备解放中国台湾，他亲自勘察地形，根据积极防御的战略方针指导国防筑城施工，到1959年初步完成沿海第一线国防工事构筑计划和作战准备。
1955年9月被授予一级八一勋章、一级独立自由勋章、一级解放勋章。1956年9月在中共第八次全国代表大会上作《为中国人民解放军的现代化而斗争》的报告，并当选为中央委员和中央政治局委员。