1954年10月，叶剑英回到北京。先后任中央人民政府革命军事委员会副主席，中华人民共和国国防委员会副主席，中国人民解放军武装力量监察部部长。1955年4月，任训练总监部代部长，主持全军的军事训练工作。他强调从实战需要出发，进行现代条件下的军事训练，把人民解放军建设成优良的正规化、现代化的革命军队。9月，被授予中华人民共和国元帅军衔。11月，组织并主持了辽东半岛方面军抗登陆战役中集团军海岸防御的军事演习，认真探索现代战争条件下训练和作战的经验。1956年6月，他主持召开全军院校会议，强调办好院校对部队现代化建设的重大意义。9月，出席党的第八次全国代表大会，再次当选为中央委员。

　　1956年12月，叶剑英率中国军事代表团访问缅甸。之后，他还率军事代表团访问了苏联、印度、波兰等国家，发展了我军同这些国家军队和人民之间的友谊。

　　1958年3月，叶剑英建议并受命创办军事科学院，任院长兼政治委员，主持制定了军事科学研究的正确方针、原则和方法，建设了一支科研干部队伍，培养了一批科研人才。同年，兼任高等军事学院院长。他是我军杰出的战略家、军事教育家和现代军事科学研究的开拓者。1959年9月，叶剑英任中央军委常委。1960年，任军委军事训练和军事学术研究委员会主任。他坚决贯彻党中央、毛泽东制定的积极防御的战略方针，参与领导研究国家防御作战问题；主张军事训练和军事科学研究相结合，以总结我军的经验为主，探讨在现代条件下的战争指导规律；主持制定人民解放军一系列条令条例；参与领导军事科学技术的发展工作，为把我军建设成强大的现代化正规化革命军队，为坚持和发展毛泽东军事思想，作出了多方面建树。1963年12月，叶剑英建议在全军推广郭兴福教学法，得到毛泽东和军委的赞许。之后，群众性练兵热潮迅速地在全军开展起来，取得显著成果。1965年，任第四届政协全国委员会副主席。1966年1月，任中央军委副主席。5月，任中共中央书记处书记、中央军委秘书长，主持军委日常工作。8月，在党的八届十一中全会上当选为中央政治局委员。  

    在“文化大革命”十年内乱中，叶剑英同林彪、江青两个反革命集团进行了坚韧不拔的多种形式的斗争。“文化大革命”初期，为坚持党的领导，稳定军队，保护老干部，他在职权范围内采取了一系列措施。1966年10月，他在中央工作会议上多次发言，坚决反对搞乱军队。11月13日，他在北京工人体育场召开的军队院校和文体单位十万人大会上讲话，对当时的错误做法提出批评。11月29日，他在北京工人体育场召开的军队院校师生大会上再次讲话，严厉谴责打、砸、抢行为。他针对林彪、江青等人煽动“打倒刘邓”的罪恶活动，明确指示军事博物馆展览厅保留刘少奇、邓小平同志的照片。1967年1月，叶剑英在中央政治局会议上作了关于稳定军队的专题发言。会后，他拿着全国军分区以上军事单位受冲击的统计表，当面斥责江青，指出：“内忧必然引起外患”，“稳定军队是党和国家根本利益！”1月20日，他在军委碰头会上，义正词严，拍案斥责江青、康生、陈伯达等人打倒老干部和反党乱军的罪行，以致右手第五掌骨远端骨折。经过激烈斗争，他主持制定的中央军委八条命令，经毛泽东批准颁布执行，对稳定当时局势起了重要作用。2月14日，叶剑英在政治局碰头会上，愤怒质问康生、陈伯达、张春桥等人：“你们把党搞乱了，把政府搞乱了，把工厂、农村搞乱了！你们还嫌不够，还一定要把军队搞乱！这样搞，你们想干什么？”林彪、江青等人把叶剑英和其他老同志对“文化大革命”的抵制，诬陷为“二月逆流”。叶剑英遭受打击迫害，实际上被解除了在党中央和军队中的领导职务。1969年4月，在党的九届一中全会上，经毛泽东、周恩来等同志的提议，叶剑英被选为中央政治局委员。6至10月，叶剑英与陈毅、徐向前、聂荣臻受毛泽东、周恩来委托，全面深入地分析了错综复杂的国际形势，为打开对外工作的新局面，提出了战略性的意见和建议。同年10月，他被林彪以所谓战备疏散为名赶出北京，抱病辗转于湖南、广东等地，受尽磨难。1970年8、9月间，叶剑英参加在庐山召开的党的九届二中全会，同林彪、陈伯达等人抢班夺权的阴谋活动进行了坚决斗争。会后，他按照毛泽东、周恩来的指示，带领调查组到福建、广东、广西、湖南、湖北等地，调查陈伯达的反动历史，揭穿其政治骗子的面目。1971年林彪叛逃事件后，叶剑英重新以军委副主席身份主持军委日常工作，对稳定当时全国和军队局势起了重要作用。

　　  

1971年7月，叶剑英受毛泽东、周恩来委托，主持接待秘密来华访问的美国总统国家安全事务助理基辛格。1972年参加接待先后来华访问的美国总统尼克松和日本国总理大臣田中角荣。1973年，又协助周恩来接待第二次来访的基辛格。他为建立中美、中日外交关系作出了重要贡献。1973年8月，在党的十届一中全会上，他当选为党中央副主席。1974年1月，叶剑英受毛泽东、周恩来委托，同邓小平一起指挥西沙自卫还击作战，收回了被侵占的岛屿。

　　1975年1月，在四届人大第一次会议上，他被任命为国防部长。6、7月间，叶剑英和邓小平 一起，主持召开了具有重要历史意义的军委扩大会议。他在会上就国际形势、压缩军队定额、调整编制体制、安排超编干部等问题作了重要讲话。会议前后，他同许多高级干部谈话，向他们通气，讲了毛泽东对“四人帮”的严厉批评，揭露江青等人背着中央，插手军队的阴谋活动。在他主持下，对全军二十几个大单位的领导班子进行了调整配备。这些为后来粉碎江青反革命集团，稳定军队与全国形势，创造了重要条件。1976年，在所谓“反击右倾翻案风”运动中，叶剑英再次被中止了领导工作。1976年，周恩来、朱德、毛泽东相继逝世，江青反革命集团加紧进行篡夺党和国家最高领导权的阴谋活动。10月，在党和国家面临危险的紧急时刻，叶剑英和党中央政治局其他同志一道，根据政治局多数同志的意见，代表党和人民的意志，毅然粉碎了江青反革命集团，从危难中挽救了党。在这场关系着党和国家命运的斗争中，叶剑英起了决定性的作用。

　　粉碎江青反革命集团之后，叶剑英高瞻远瞩，排除阻力，力主请邓小平、陈云等久经考验的老一辈革命家立即出来担任党和国家的领导工作，主张明确肯定“天安门事件”为革命运动，尽快平反一切冤假错案。1977年3月，叶剑英再次主持军委日常工作。他以极大的魄力，领导全军清除林彪、江青反革命集团的流毒和影响。7月31日，他在中共中央、国务院、中央军委召开的庆祝建军五十周年大会上发表重要讲话，回顾了我军五十年的光辉历史，全面系统地论述了毛泽东军事思想，提出了我军在新的历史时期的任务。8月，在党的十一届一中全会上当选为中央副主席。1978年3月5日，在五届人大第一次会议上，当选为人大常委会委员长。他在这次会议的解放军代表团小组会上，要求军队的同志要坚持马列主义，坚持无产阶级专政，坚持社会主义道路，强调军队必须置于党的绝对领导之下。他担任人大常委会委员长期间，先后会见了许多来访的外国国家和政府首脑、议会代表团、军队领导人以及知名人士，增进和发展了我国同这些国家的友好关系。1978年12月，在党的十一届三中全会上，他同邓小平等中央领导同志一起，实现了党的指导思想上的拔乱反正，重新确立了党的马克思主义的思想路线、政治路线和组织路线。

　　1979年1月，叶剑英主持全国人大常委会通过发表了《告台湾同胞书》，指出“实现中国的统一，是人心所向，大势所趋”，并提出在海峡两岸“发展贸易，互通有无，进行经济交流”和“双方尽快实现通航通邮”的方针。1979年9月30日，叶剑英代表中共中央在庆祝中华人民共和国成立三十周年大会上发表重要讲话，论述建国三十年来的成就和失误，总结“文化大革命”的教训，批判“两个凡是”的错误，明确提出在建设高度物质文明的同时，要建设高度的社会主义精神文明，号召全国人民团结一致，向着四个现代化的宏伟目标奋勇前进。

　　1980年9月，叶剑英担任宪法修改委员会主任委员，主持制定了五届人大第五次会议通过的《中国人民共和国宪法》。他还领导制定了《刑法》、《刑事诉讼法》等二十二个法律，为健全和完善我国的法制做了大量工作。1981年9月30日，叶剑英发表了著名的《关于台湾回归祖国，实现和平统一的方针政策》的谈话，进一步提出了实现祖国统一的九项具体政策，建议举行国共两党对等谈判，实现第三次国共合作。这一重要谈话对祖国统一大业发生着愈来愈大的影响。他还经常会见回国观光、探亲的港澳同胞和海外侨胞，鼓励大家为祖国的统一和建设多作贡献。1982年9月，叶剑英在党的第十二次全国代表大会上发表重要讲话，强调开创社会主义现代化建设的新局面，必须有一大批年富力强的同志走上中央和各级领导岗位，强调中央委员会必须坚持民主集中制的领导原则。在十二届一中全会上当选为中央政治局常务委员会委员。

　　1983年2月25日，在第五届全国人民代表大会任期将满的时候，叶剑英写信给全国人大常委会，请求不再提名选他当六届全国人大代表，不再将他列为六届全国人大常委会委员长候选人。3月5日，人大常委会复信同意他的要求，热情地赞扬了他在长达半个多世纪的充满艰难险阻的革命斗争中所建立的丰功伟绩，赞扬他为社会主义建设事业和为实现祖国统一大业作出的卓越贡献。6月，在第六届全国人大第一次会议上，他被任命为中华人民共和国中央军事委员会副主席。10月，参与主持党的十二届二中全会。这一年，出版了《叶剑英诗词选集》。他在晚年，还多次与王震等老战友一起，到全国各地视察，关心和支持一线同志的工作。1985年9月，叶剑英同其他六十三位老同志一起致函党的十二届四中全会，请求不再担任中央委员，以便让一批比较年轻的德才兼备的同志进入中央委员会，进一步实现中央领导机构成员的新老交替。十二届四中全会同意他的请求，并给他写了致敬信，高度评价了他的光辉业绩。

　　1986年10月22日因病在北京逝世，享年89岁。