淮海战役胜利结束后，盘踞在长江以北的华东、中原地区的国民党军队被歼殆尽。从1949年3月下旬起，华东局、华东军区和第三野战军指挥部等机关人员便分期分批地离开山东南下。在山东工作和生活了13年的黎玉，也告别了山东父老，踏上了新的征途。
（一）走上新的工作岗位
1949年5月，人民解放军解放上海，10月，黎玉被任命为中共上海市委秘书长，市委委员。12月，经中央人民政府委员会第四次会议批准，黎玉被任命为华东军政委员会委员。1950年12月，又经中央人民政府委员会第十次会议批准，被任命为上海市人民政府委员，接着又担任上海市市政建设委员会主任。在新的环境和条件下，黎玉继续为党为人民勤勤恳恳地工作。然而，1948年受到不公正批判、处理的阴影一直笼罩着他。1952年2月，中共上海市委召开全市党员干部大会，宣布撤消黎玉上海市委秘书长的职务。接着，又把他降为上海市委劳动工资处处长。尽管如此，他仍然一如既往地做好分担的工作，并不怨天尤人，计较个人得失。
1953年，黎玉被调到北京工作，任中央人民政府财经委员会劳动工资教育组组长、财政组组长。
1953年12月，黎玉出任中华人民共和国第一机械工业部副部长。那时，我国的机械工业，正值草创时期，一机部的全部人员，从部长、技术专家到司局长、厂长、一般职工，无不面临着崭新的课题。一机部的大部分干部是从党、政、军、群等工作岗位上转过来的，业务十分生疏。面对这种局面，黎玉号召大家努力学习，要求大家在学中干，在干中学。在黎玉的带动下，一机部上下形成了认真学习、钻研业务的良好风气。有的刻苦钻研从国外引进的设计图纸，有的埋头长、短期计划的制定，有的学习工程程序，有的下车间蹲点，有的补习补学数理化基础知识……。
第一个五年计划开始实施后，我国进入了社会主义建设的高潮。各方面对机床的需要很大，而当时我国只能生产十几万台机床。面对巨大的供需矛盾，黎玉提出了“统筹兼顾、合理安排”的解决办法。1956年12月，刚刚担任一机部销售局局长的杜前，不知如何分配仅有的机床，就去找黎玉。黎玉笑着对他说：“这个问题去年就出现了，但没有今年突出。我们社会主义经济建设的原则，就是有计划按比例地发展生产，有计划按比例地进行销售。我们要求在不平衡中达到相对平衡。”接着，他说：“我们钢铁生产比较落后，机器生产也发展的不很快，供需矛盾不是短时期能解决的。目前也只能统筹兼顾、合理安排了。”按照黎玉“统筹兼顾、合理安排”的指示，杜前大胆地工作起来。
在一机部，黎玉还积极提倡民主作风，在他主持学习和工作会议时，鼓励大家各抒己见。对因与部领导意见不同而遭到责难的同志，黎玉坚定不移地进行保护。由于黎玉的提倡，一机部的民主作风得到很好的发扬。当时在一机部工作过的柳运光后来回忆说：“当我们经历了言称‘大民主’，行则‘一言堂’的岁月之后，我们才日益深切地感到黎玉同志民主作风的可贵。”1959年4月，黎玉当选为第三届全国政协常委。
为加快农业机械化步伐，1959年8月，中央决定组建农业机械部，黎玉被任命为农业机械部常务副部长、党组副书记。他坚决服从党的安排，无论在什么岗位，都非常认真地工作，努力完成党交给的任务。尤其令人感动的是，当他原来的下级成为他的直接领导时，他能够诚心诚意地尊重他们，支持他们，毫无怨言地积极自觉地完成自己分管的工作。
为筹组农机部，黎玉协助陈正人部长夜以继日地工作。筹建农业机械部，所面对的最大问题是干部严重缺乏，黎玉提出了“眼睛向下，就地发现人才和量才而用”的主张，启用了一大批政治性强、有才干的人员，迅速配齐了各级领导班子，促进了农机工作的发展。当有的干部不愿意在农机部工作时，黎玉就耐心说服教育，并一再强调农业是整个国民经济的基础，要重视农业机械工作。在农业机械部，黎玉分管机关、干部、财务、计划等工作，任务非常繁重，很少有时间休息，但他仍不断刻苦钻研农业专业知识，迅速从外行变为内行。
20世纪50年代，我国的农机生产还处于起步阶段，只能进行一些简单的修配工作，而不能进行整机的生产。对此，黎玉非常焦急，认为如不能进行农机生产，我国的农业生产就不能适应国民经济发展的需要。为此，黎玉提议建设一批大、中、小规模的农机工厂。在黎玉的支持下，全国各地出现了建设农机工厂的热潮，迅速建设起一批农机工厂，使农机产品的质量、数量有了大幅度提高，品种也迅速扩大，初步奠定了我国农机生产的基础。但随着农机生产问题的初步解决，又出现了“愿造不愿修”、“修配拖后腿”的新问题，为了解决这一问题，黎玉提出了在全国建设800个修配厂的计划。
1959年5月，黎玉到湖南、湖北检查工作。这时，“大跃进”给国民经济造成的恶果开始暴露出来，国民经济比例失调，生产下降，物资供应紧张，人民生活困难，但各级官员仍然是报喜不报忧，不愿也不敢讲真话。黎玉在经过大量的实地调查之后，发现了情况的严重性。他实事求是地指出：“国民经济全面紧张，客观上比例法则执行不够，叫做严重失调”，“计划摊子太大了，主观性强，超过了可能性。”①黎玉提出了“压缩基建项目”，“有多少米做多少饭”，“恢复日用品生产”和“搞好农业生产”等正确主张。但在当时的情况下，黎玉的这些正确主张不可能被采纳。
“大跃进”给我国的国民经济造成了严重的破坏，1960底，在刘少奇的主持下，对国民经济开始进行调整。1961年9月，中央工作会议通过了《国营工业企业工作条例（草案）》（又称“工业七十条”）。为贯彻“工业七十条”，农机部在11月至12月召开了第五次全国农机厅（局）长会议。在会上，黎玉作了报告，要求企业认真贯彻“七十条”。黎玉还深入基层，进行调查研究。在对北京内燃机总厂进行调查研究后，黎玉要求北京内燃机总厂，坚决压缩基本建设，进行“小配套”建设。结果，北京内燃机总厂很快扭转了因基本建设摊子铺得过大，老产品下马，新产品过不了关的被动局面。1965年初，黎玉到北京内燃机总厂指导“四清”工作，针对“四清”工作队的一些错误做法，严肃指出，搞“四清”运动，一定要实事求是，分清是非，决不能像王明路线时那样“残酷斗争，无情打击”。在黎玉的批评教育下，工作队很快进行了总结，“解放”了李本等被错误对待的同志。然而，这件事在“文化大革命”中，却成了黎玉“包庇走资派”的一大“罪状”。黎玉不仅帮助下面解决重大问题，对一些小问题也十分关心。一次，北京内燃机总厂盖房子缺沥青，就去找黎玉。黎玉马上给石油部的领导写信，使事情很快得到了解决。由于长期的劳累，到20世纪60年代中期，黎玉的身体越来越差，患了糖尿病、心脏病等多种疾病，但他却经常抱病坚持工作。即使在病重住院期间，黎玉也十分关心农机建设，每当有农机部的同志去看望他时，总是详细询问农业机械发展的情况。
“文化大革命”爆发后，康生指使造反派对黎玉进行诬陷和迫害，企图把他打成叛徒。但他始终相信党，相信人民，相信正义必将战胜邪恶。
“文化大革命”开始不久，黎玉就被造反派从北京协和医院赶出，关进了“牛棚”。农机部的造反派多次批斗他，给他扣上许多大“帽子”。受到批斗的黎玉在自身都不能保的情况下，还保护和他一起工作、战斗过的同志。黎玉的老战友赵健民，被康生诬陷为“叛徒”，遭受残酷迫害。云南的造反派多次到北京，逼迫黎玉写证明材料，证明赵健民是“叛徒”。黎玉坚决不写，当造反派威逼他时，就愤怒地大喊：“我不能说假话，不是就是不是！你们再来多少次，赵健民也不是叛徒。”原在山东工作过的张加洛也受到造反派的迫害，造反派对张加洛在1937年间与山东省委取得关系的历史表示怀疑，并编造了大量的假材料，说张加洛是“假党员”、“混党冒军分子”。一天晚上，张加洛找到黎玉，谈起了这段往事。黎玉气愤地说：“对人对事应当实事求是，是我亲自给你谈的话，要你回掖县发动抗日武装的，番号是第三支队。这一点，在任何情况下我都敢证明。”十年动乱中，虽然来找黎玉写证明材料的有很多，但黎玉从来没有写过一份违背事实的材料。正是由于黎玉这种敢讲真话，敢负责任的严正态度，使许多人免去冤情，少遭迫害。
黎玉对周恩来总理极为尊重。周恩来逝世后，黎玉非常悲痛。1976年1月15日，在举行追悼会时，黎玉在家门口挂了半旗，表示哀悼。那时，“四人帮”正当道，街道居委会主任要黎玉把旗取下来。黎玉拿着《人民日报》，据理力争，不仅不取下来，反而动员街道居委会也挂半旗。遭到拒绝后，黎玉极为恼火。
粉碎“四人帮”后，黎玉重新回到工作岗位，先后担任一机部和农业机械部顾问。黎玉以大局为重，坚决拥护并贯彻中共十一届三中全会以来的路线、方针和政策，为弥补“文化大革命”给我党我国造成的巨大损失而加倍努力工作。在冤假错案的平反过程中，黎玉敢于坚持原则，主持正义。为蒙受不白之冤的干部回到工作岗位，他起了重要作用。
退居二线后，黎玉对我国的农机事业仍然十分关心。1985年12月，天津拖拉机厂举行30周年纪念，派人到医院看望黎玉，希望黎玉题词。此时，黎玉已病得非常厉害，但他让人扶他坐起来，在病床上安上小桌，用他那衰弱、颤抖的手，一笔一划地写了“新天拖将依据新规划而迈步前进”的题词，鼓励天津拖拉机厂为完成新的技术规划而努力奋斗。1986年4月，由于疾病的折磨，黎玉经常处于昏迷状态，但他仍牵挂着我国的农机建设。一次，《中国农机化报》的记者在黎玉清醒的时候，请他谈谈对农机化工作的看法。即使在这种时候，黎玉仍极为精辟、深刻地说：“农机化工作既要有个长远的通盘的考虑，又要顺应当前农村经济改革的需要。”这次谈话后不久，黎玉就永远地离开了我们。
（二）心系山东
在恢复工作后，黎玉将大部分精力用在党史工作上。1981年6月，根据中共中央办公厅、中央党史研究室、中央党史资料征集委员会《关于在地方成立党史征集委员会或党史资料征集小组》的指示精神，农机部成立了党史征集工作领导小组，黎玉担任组长。从此，黎玉全身心地投入到“抢救党史资料”工作中来。撰写党史资料，黎玉简直到了废寝忘食的程度。黎玉在抗日战争期间曾负过伤，右手落下伤残，加上老年性手抖，持笔都非常困难，每写一个字都要付出极大的努力。有时，手抖得厉害，一个字写几遍都写不成形，无可奈何地甩甩手，不一会，就又拿起笔。即使在住院期间，黎玉也不忘撰写党史资料。
黎玉尤其关心山东的党史工作。1980年7月，应山东省政协约稿，撰写了《回忆周恩来同志、陈毅同志在济南军调小组的斗争》一文。1981年秋，又撰写了《山东党组织的恢复与重建》一文的初稿。1982年6月，黎玉出席在第三机械工业部举行的“在京山东老同志座谈会”，座谈山东党史编纂工作。1984年11月，黎玉又到山东济南参加山东省党史资料征集工作座谈会。会议期间，黎玉书赠肖华“戎马倥偬大志终酬，卸甲身轻壮心不已。”肖华回赠黎玉“风雨同舟”。
1985年，黎玉加紧了回忆录和其它党史资料的撰写工作。6月，完成了回忆录的第一部分，记述了从青少年时代到抗战爆发前夕的战斗历程。7月，为《人民政协报》撰写了《对崮峪战斗》一文。10月，着手整理和撰写《山东纵队发展史》。
在撰写党史资料时，黎玉坚持实事求是的原则，既不夸大自己的功绩，也不隐瞒自己的失误。1983年底，黎玉对前去看望他的老战友张加洛说：“对历史嘛，就应采取极端负责的态度。”在一次座谈会上，当有人谈到青岛的工人罢工斗争是黎玉和山东省委领导发动的时候，黎玉明确指出，那次罢工是群众自发或青岛党员发动的，与省委和他没有关系。
离休后，黎玉多次回到山东，关心山东各项事业的发展。1981年底，人民大会堂为布置山东厅，约请在京的山东老同志前去指导。在座谈会上，黎玉提出，山东厅的布置，要反映山东的特点，例如地貌、特产、历史文物、革命历史、人民贡献等等。1982年8月，黎玉回到阔别多年的山东，先后到海阳、荣成、蓬莱、长山、石岛、威海、烟台等地参观、访问、调研，并为栖霞抗日烈士纪念馆和理琪同志纪念馆题词。
1983年5月，黎玉再次来到山东。他经济南到泰安，参观了徂徕山起义旧址，随后又到莱芜战役纪念馆和沂南参观青驼寺战工会旧址。18日，黎玉在临沂烈士陵园向革命烈士墓敬献花圈。在临沂烈士陵园，黎玉留下了“今日沂蒙，昔日战场，三帅挥戈，败日灭蒋，万众一心，沂蒙之光”的题词。20日，到日照。22日，参观了沂水县王庄八路军山东纵队司令部旧址。26日，经临朐、淄博，到济南，随后返京。在临沂期间，黎玉询问了临沂地区政治、经济、文化、教育事业的发展情况，走访了富裕起来的农民家庭，看望了部分老战士。当听说莒县遭受冰雹灾害时，他拄着拐杖，深一脚浅一脚地步入农田，视察受灾情况。
（三）沉冤得雪
1985年10月，黎玉因感冒住进北京友谊医院，11月10晚，病情突然加重。1986年4月，转北京医院治疗。在病重期间，黎玉收到了中共中央为其在1948年所受错误批判进行平反的通知。
1984年，黎玉和林浩就1948年12月华东局扩大会议《关于克服党内无纪律无政府状态加强纪律性的决议》中，有关他们的错误问题，向党中央提出申诉，请中央查清问题，还历史以本来面目。党中央非常重视，立即指示山东省委，让山东省委进行调查。中共山东省委接到中央的指示和中央转来的黎玉、林浩的申诉后，又责成省纪委、省委组织部组成专门的复议小组，进行调查复议，并提出了调查复议的原则和要求。中共山东省委指示，复议这一案件应本着实事求是，宜粗不宜细的原则，抓住大是大非问题，调查清楚，提出复议意见，做出组织结论。中共山东省委要求重点调查三个方面的问题：一是山东土改运动中的“富农路线”问题；二是“地方主义”、“宗派主义”和“山头主义”问题；三是“宣传个人”问题。
根据中共山东省委的指示和要求，1985年7月，省纪委和省委组织部抽调人员组成复议小组，着手进行调查复议。复议小组先后在中央组织部、总政治部，中央军委和省档案馆查到有关档案67件；又在北京、上海、南京、杭州等地向薄一波、谷牧、魏文伯、陈士榘等27位老同志作了调查，取得证明材料19件。根据所获得的材料，复议小组很快查明了事实真相，认为华东局对黎玉、林浩等同志的批判和决议中的结论是错误的，应予纠正。1985年11月17日，中共山东省纪委向中共山东省委提交了《关于黎玉、林浩同志申诉问题的调查报告》。1985年12月12日，中共山东省委根据省纪委的调查报告向中共中央提出《关于黎玉、林浩同志申诉问题的复议报告》。在《复议报告》中，中共山东省委认为，饶漱石利用华东局扩大会议，对黎玉、林浩等人的批判和决议中的结论是错误的，应予纠正。中共山东省委建议中央撤消1948年12月24日华东局扩大会议《关于克服党内无纪律无政府状态加强纪律性的决议》中对黎玉、林浩等同志所作的结论，从政治上恢复名誉；对因黎玉、林浩同志这一问题株连受批判及作过错误结论的同志，都应予以纠正；对批判黎玉、林浩形成的有关档案材料，都应按照中央有关规定进行处理。1986年3月13日，中共中央批复山东省委，同意山东省委关于对华东局1948年对黎玉所作错误结论进行平反的报告，撤消华东局扩大会议《关于克服党内无纪律无政府状态加强纪律性的决议》中对黎玉、林浩所作的错误结论部分，为黎玉恢复政治名誉。黎玉所受的冤屈终于得到了公正的评判。在有生之年，黎玉再次感受到党的温暖。得知中央给自己平反的通知后，黎玉感谢党终于了此一案。
1986年5月30日凌晨，为党为人民兢兢业业工作了整整60年的黎玉在北京逝世，享年80岁。黎玉病重期间，正在外地疗养的徐向前元帅派人到医院看望，中共中央总书记胡耀邦委托习仲勋、尉健行代表中央到医院看望，彭真、万里、方毅、谷牧、郝建秀等同志也先后到医院看望。
黎玉逝世后，新华社发布《黎玉同志生平》一文，高度评价了黎玉的一生。文章在介绍了黎玉为革命和建设事业所作的贡献后说：“黎玉同志的一生，是革命的一生、战斗的一生。他忠于党和人民的事业，坚持党性，坚持原则，是非分明，刚直不阿；他工作严肃认真，精明干练，吃苦耐劳；他生活俭朴，平易近人，联系群众，团结同志；他严以律己，也严格要求亲属和子女，对不正之风深恶痛绝。”文章认为，黎玉同志的逝世，是党和人民的巨大损失。文章要求大家学习他严肃认真、一丝不苟的工作作风；学习他学无止境，穷原竟委的学习态度；学习他六十年如一日任劳任怨为党工作的革命精神。
1989年，为纪念黎玉同志，中共山东省委党史资料征集研究委员会编辑出版了《深切怀念黎玉同志》一书。徐向前元帅为该书题写书名，中共山东省委书记姜春云写了序言。书中收录了和黎玉一起工作、战斗过的徐向前、赵健民、景晓村、高克亭等老同志和黎玉的夫人、子女的题词、回忆文章，以及黎玉在山东工作时的一些重要讲话、文章。1992年，中共中央和山东省委又将黎玉生前未完成的回忆录予以出版，了却了黎玉的最后遗愿。
