1906年农历5月12日，生于山西崞县陈赵野庄（今山西原平县大牛店乡东野庄），原名李兴唐。
1916年在家乡陈赵野庄读私塾和小学。1920年考入崞县大牛镇高级小学。
1923年考入崞县县立中学。从此，开始接受新思想新文化的影响，组织读书会和思想辩论会，阅读《共产党宣言》等革命书刊，并利用黑板报进行宣传。
1926年为纪念“五卅运动”一周年，参加并领导崞县中学学生上街游行。同时，被推举为代表到太原参加省学生会组织的纪念活动，寻找共产党组织。同年8月，崞县建立了第一个党支部。9月，经刘葆粹、冯汉瑛介绍，黎玉加入了中国共产党。同年底，担任中共崞县特别支部书记，并被推为国民党崞县党部负责人和学生会主席，利用这些身份，积极开展党的工作。
1927年秋，在白色恐怖严重的情况下，以组织“北大考学团”为名，积极坚持党的地下活动。冬，与李三楼、李毓珍等7人以“共党嫌疑未决犯”罪名被捕，关押于国民党太原第一监狱。在狱中组织了、临时党支部并任书记，积极领导了狱中对敌斗争。
1928年约9～10月间，黎玉等7人被转押山西省“自新院”。继续坚持对敌斗争，经受了严峻的考验。
1929年3、4月间，获释回乡。同年，与郭从周、李三楼等人一起赴京，考入北平大学法政学院。同年底，几经周折，终于与中共法政学院党支部接上了组织关系。
1930年春，担任中共北平市委职工工作委员会委员、北平洋车夫工作委员会书记，积极参加和领导了北平职工运动。同年8月1日，奉中共北平市委指示，率领北平洋车夫参加反军阀示威游行，不幸被捕。由于没有暴露身份，很快获释，并积极营救狱中同志，使许多被捕的同志陆续获得自由。同年秋，与刘锡五、杨洁斯、平杰三在河北省委指示下组成北平市委4人领导班子，抵制1930年间的党内分裂活动，肩负起领导中共北平党的重任；分管职工工作并兼任北平市委职工部部长。
1931年4月，受中共河北省委派遣，到天津恢复党组织并担任临时市委书记。在天津坚持工作了3个月，由于上级党组织被敌人破坏，工作关系中断，于6～7月间返回北平。7月，在北平与新的中共河北省临时委员会取得了联系。8月，接受中共河北省临时委员会委派，前往石家庄担任中共石家庄中心县委书记，恢复被敌人破坏的党组织。同年冬，石家庄党的组织得到迅速发展，河北省委决定将中共石家庄中心县委改为中共直中特委，黎玉（当时名李嘉年）任直中特委书记。
1932年3月，回北平向河北省委汇报工作，并将赞皇人民抗钱粮征税斗争写成书面总结报告。这份报告刊登在当时党中央的内部刊物中，为我党的白区民运工作提供了宝贵的资料。夏初，第三次被捕，但没有暴露身份。7～8月间，转押天津警备司令部看守所。在看守所内，与同关押的刘宁一等6名党员组成了临时党支部，坚持狱中秘密斗争。9月，黎玉等人被再转押至北平东北军卫戍总司令部军法处宪兵队看守所。
1933年3月，通过王之相教授帮助，托人疏通，取保获释，并很快与中共河北省委取得了联系。4月初，受中共河北省委委派，去唐山恢复被敌人破坏的党组织，重建中共唐山市委并担任市委书记。5月底，深入矿区工作两个月后，为矿区工作打下了良好的基础，即回北平向省委汇报，请示成立新市委的事宜。夏，中共唐山新市委正式成立，任市委书记，陈少敏任宣传部长。冬初，送陈少敏回天津工作。
1934年1月17日，派林西矿工人代表到马家沟矿向马家沟惨案中的死难矿工家属进行慰问和声援，酝酿东西矿总同盟大罢工。1月24日，在林西矿领导了大罢工，赵各庄、唐各庄相继呼应，罢工工人手拿镐头，上了房顶，总人数达3万余人，爆发了震惊中外的开滦五矿总同盟反帝大罢工。大罢工历时近50天，给反动当局以重大的打击。4月，由于在罢工中常需要亲自出面，暴露了罢工领导人的身份，中共河北省委决定调回省委工作。5月，受河北省委派遣前往中共直南特委检查工作。不久，省委命黎玉以省委代表身份负责特委工作，并兼任直南特委书记。
1935年年初，经省委批准，直南特委划分为冀鲁豫边和新直南两个特委，黎玉仍是省委代表，兼任冀鲁豫边特委书记并负责两个特委的领导工作。夏、秋间，由于不同意河北省委组织暴动的作法与省委发生争执，被定为“右倾机会主义”，受到处分。秋、冬间，到特委所辖的河北濮县（今河南范县和山东莘县境内）领导农民运动，发展党的组织。冬，在山东坚持党的地下工作的赵健民同志到濮县古云集徐庄找到黎玉，报告了山东党遭受破坏的情况，黎玉随即回磁县特委驻地，向上级党报告了山东党组织的情况。不久，刘少奇同志到北方局主持工作，批评了河北省委的“左”倾路线错误，肯定了黎玉的意见，并撤销了对他的处分。
1936年4月，奉中共北方局命令，前往山东恢复和建立屡遭敌人破坏的中共山东省委，并担任省委书记。5月，主持召开了重建的中共山东省委第一次会议。会议传达了党中央、北方局的指示，部署了工作任务。为了缩小目标，省委对外称工委，黎玉任书记，赵健民任组织部长，林浩任宣传部长。
1937年4月，离开山东赴延安参加白区工作会议，20日到达延安。7月，从延安返回山东，中旬在济南召开省委会议，传达党的苏区代表会议和白区代表会议精神，并根据党中央决定，省工委正式称省委，黎玉任书记，张霖之任组织部长，林浩任宣传部长，景晓村任秘书长。9月，赴山西参加北方局召开的太原会议。向北方局报告了山东情况，要求派军政干部到山东。10月，在山东济南召开省委紧急会议，部署武装起义。会后，山东省委机关由济南转移到泰安。
1938年1月1日，直接领导了徂徕山抗日武装起义，任起义部队政治委员。2月下旬，在新泰刘杜主持召开省委会议，确定起义部队的发展问题，并决定由林浩代理省委书记和四支队政委。会后，取道徐州赴延安汇报工作。4月，到延安向党中央汇报工作。毛泽东亲自听取汇报，给予了高度的评价，并对山东根据地的发展建设作了许多指示。黎玉提出要军政干部和电台等要求，毛泽东立即同意，并就军事指挥人选进行了磋商。6月，赴武汉八路军办事处，根据毛泽东的意见与周恩来商调军事指挥。最后决定，派张经武同志前往山东任指挥。8月，与张经武率延安赴山东工作的近200人，百余名军政干部离开陕北。10月下旬抵聊城会晤范筑先，转交了毛泽东给范筑先的亲笔信。11月底，与张经武率队抵达山东省委驻地沂水县的岸堤。12月，根据党中央决定，苏鲁豫皖边区省委改为中共中央山东分局，黎玉为分局委员。同月27日，八路军山东纵队正式成立。纵队下辖10个支队、3个团，共2.4万余人。黎玉任山东纵队政治委员。
1939年4月17日，《大众日报》刊出国民革命军第十八集团军第八路军山东纵队指挥张经武、政治委员黎玉关于国民党秦启荣等部破坏抗战问题向全国的通电。同月27日，根据中央电示，山东分局扩大为苏鲁豫皖分局，黎玉任分局委员。6月，根据中央决定，苏鲁豫皖分局仍改为山东分局，徐向前、朱瑞、罗荣桓等人进入分局领导班子，黎玉仍任委员。8月，山东军政委员会成立，黎玉为委员。10月，去清河、胶东区巡视检查工作。并传达山东分局对胶东工作的意见。
1940年1月8日，在胶东区检查工作期间，在第三区委民运干部会议上作了关于胶东民运工作讨论的总结，深刻的分析了胶东民运工作，指出了今后民运工作的发展方向。4月，与国民党苏鲁战区总司令于学忠会晤，指出沈鸿烈、秦启荣的反共行为必须制止，八路军抗日必须有政权。5月，“五一”国际劳动节发表《抗战两年的山东纵队》的文章，对山东抗日战争局势作了精辟的论述，对山东纵队两年来对山东抗日战场所做的重大贡献作了客观的评价。7月1日在<大众日报》发表文章，纪念党成立十九周年，纪念中华民族坚持抗战三周年。同月27日，山东省国大代表复选大会、民众总动员委员会成立大会、工农青妇文各界总会成立大会、各界救国联合会成立大会的联合大会在临沂县青驼寺隆重开幕。黎玉当选为“真正代表山东民意的”国大代表、省战工会首席组长兼政治组组长。8月16日，在联合大会上作题为《论山东目前投降与反投降的斗争》的报告。同月17日，黎玉代表省战工会在山东省战工会全体委员宣誓就职典礼上致答辞。9月13日起至11月12日止，在临沂县青驼寺主持召开了省战工会全省行政会议。11月11日，在全省行政会议上致闭幕辞。同日，率山东纵队参观团到一一五师学习、参观。
1941年2月4日，山东省粮秣委员会成立，任副主任委员。3月24日，山东省战工会发出《关于变更本会部分组织问题的通知》，任省战工会常务委员、常务委员会主任委员。4月1日，中共山东分局《关于政府工作委员会与战工会工作的决定》明确：撤销原分局政府工作部，成立政府工作委员会，黎玉任委员；战工会为全省行政最高领导机关。战工会内建立党团，黎玉任党团书记；原首席组长改称主任委员。5月，发表《山东抗日根据地的建设问题》的文章，提出展开十项竞赛大运动。6月23日，在山东高干会议上作了《四期整军的总结与五期整军的方针任务》的报告，提出了第五期整军的任务与方针。7月，签发《省战工会关于响应中共山东分局建设山东抗日根据地十项建设运动号召的决定》、《省战工会关于登记审查各级行政干部与调遣干部手续的决定》。8月20日，根据中央书记处、中央军委指示，山东分局为统一山东党政军民的领导机关，由朱瑞、罗荣桓、黎玉、陈光4人组成领导班子，黎玉主管政府工作；成立军政委员会，罗荣桓任书记，黎玉等7人为委员。
1942年3月10日，在《大众日报》发表题为《山东青年第二届代表大会》的文章。同月，为《山东民主导报》创刊号撰写发刊词：《山东民主导报与坚持山东民主斗争的基本方向》。6月，到沂南县横河村进行“二五减租”试点工作。7月，山东省建国学校成立，兼任校长。8月1日，八路军山东纵队根据中央军委指示改为山东军区，任山东军区政委。9月13日，山东分局致电中央并向北方局报告，提出：撤销分局内过多的委员会，只在分局委员会之下单独成立财委会，包括对工商管理局指导，黎玉为书记；群工和武委合并，黎玉为书记。冬，率山东军区机关和一个警卫营在沂水对崮峪与万余敌军遭遇，激战至天黑后突围，在战斗中负伤。
1943年3月12日，中央军委决定成立新的山东军区，罗荣桓任司令员兼政委，黎玉任副政委。4月1日，在山东省地方武装政工会议上作《再论县区武装建设》的报告。5月，朱瑞、黎玉于20日就冀鲁边区工作问题提出意见。7月4日，朱瑞、罗荣桓和黎玉等人就对待李仙洲、于学忠军事部署事致电中央军委、集总。同月23日，《大众日报》刊登罗荣桓、黎玉的文章：《我们能坚持，我们也能胜利》。8月20日，代表山东省战工会在省临参会一届二次大会上作了8万余言的《山东抗日民主政权工作三年来的总结与今后施政之中心方案》的施政报告。同月，山东分局实行一元化领导，罗荣桓任分局书记，黎玉任副书记兼组织部长及群委会、财委会书记。9月6日，山东省临参会一届二次大会通过黎玉所作的施政报告。同月，在山东省武委会成立大会开幕式上，作了《当前山东人民武装工作的任务》的报告。同月，在山东分局群工会议上作了近6万言的《六年来群众工作概括总结》的报告。同月，与谢青在日照结婚。
1944年1月11日，黎玉等领导人电报中央军委关于渤海区划分及军队干部配备事。2月19日，在山东军区政工会议上作了《-年来拥政爱民总结》和《拥政爱民与军队群众工作的建设》的报告。同日，《大众日报》刊登了罗荣桓、黎玉、萧华签署的《山东军区关于培育大批战斗英雄的训令》。5月7日，在山东省各界宪政问题座谈会上，作了《宪政运动的现在与将来和我们的责任》的讲话。6月，在省战邮代表会议上作了《战邮的建设问题》的讲话。8月，在滨海、鲁中、鲁南工商管理工作会议上作了《我们的工商管理工作》的总结报告。同月6日，参加山东省第二次行政会议开幕式并致开幕词。同月12日，罗荣桓、黎玉就毛泽东询问的十个问题致电答复。同月，在政工、军工会议上作了题为《迎接反攻时期的县区武装建设问题》的报告。9月初，在新地区会议上作《加速建设新地区为巩固的抗日根据地》的总结报告。同月，在山东分局城市工作会议上作了《为创造反攻时期里应外合的条件而斗争》的总结报告。10月12日，罗荣桓、黎玉、萧华致各军区并报集总、军委《山东根据地之发展情形与今后军事部署》。同月19日，罗荣桓、黎玉就山东根据地的面积、村庄、人口统计报集总、军委。
1945年1月，在山东省第二次行政会议上作《民主思想、民主政策、民主作风>的总结报告，全文近9万字。同月16日，在山东省第二次行政会议上致闭幕词。同月24日，参加滨海群英大会并讲话。6月27日，罗荣桓、黎玉、萧华致各军区负责人并报中央、军委、集总、《关于目前山东情况的报告》。同月，在全省工商工作会议上作了《山东过去对敌经济斗争的认识与今后斗争的新阶段》的报告。7月17日，在财经委员会扩大会议上作了<大反攻前夜的经济工作》的报告。8月11日，罗荣桓、黎玉、萧华发布《山东军区布告》、《山东军区对日军的通牒》、《山东军区对伪军伪警及一切伪组织的紧急通告》。同月13日，山东省政府成立，任省政府主席。同月14日，与罗荣桓、萧华签发山东军区关于对敌俘政策、对伪军伪政权限时反正最后通牒等一系列命令。9月，在山东分局群工第二次代表会议上作《论群众路线与山东群众运动》的报告。同月，罗荣桓、黎玉致电中央军委，报告抽调干部及部队迅赴东北的部署。罗荣桓率队赴东北后，任山东分局书记。10月25日，华中局与新四军军部机关到达山东，华中局与山东分局合并组成中共华东中央局，黎玉任副书记。同月29日，陈毅、黎玉致各区党委、军区并中央《目前山东的斗争形势与任务》。
1946年1月，山东大学于5日在临沂举行开学典礼，到会并讲了话，指出山东大学要把青年培养成为政治的、军事的、经济的、文化的人才，为人民大众服务。同月，新四军军部与山东军区合并，任新四军副政委兼山东军区副政委。原津浦前线指挥部撤销，组成山东野战军，任政委。2月13日，在山东解放区庆祝和平民主大会上演说，要求全省军民坚决拥护政协决议，为和平民主事业的实现而斗争到底。3月1日，与陈毅一起乘军调小组雷克上校飞机同往济南，与雷克上校交换了意见，听取邝任农等同志的汇报。次日，同陈毅与国民党面的王耀武、何思源及美军雷克上校到机场迎接周恩来、张治中和马歇尔。并向周恩来就军调问题作了口头汇报。当天下午，陈毅随军调小组飞徐州，黎玉留济南与王耀武、何思源谈判。同月11日，在全省铁路职工代表大会并幕典礼上作了题为《山东解放区铁路职工目前的任务》的讲话。4月，参加了由刘少奇同志主持的<五四指示》的起草工作。5月，离开山东赴延安参加党的七届一中全会。7月上旬，回到山东。同月，在全省第二次教育会议上讲演，题为《目前山东教育工作的基本问题》。8月31日，在华东局群工会上作了《对于山东今后群众运动的意见》的报告。同月，在华东局群工会讨论孔府问题时作了发言，客观地评价了孔子的历史地位，提出了对孔家土地采取照顾的政策。9月1日，主持召开华东局会议，讨论制定了符合山东客观情况的《中共华东中央局关于彻底实行土地改革的指示》决议，即“九一指示”。
1947年1月3日，在华东局财委会扩大会议上作《动员起来，经济上再打一个胜仗，保证战时供给》的总结报告。同月，华东军区成立，任副政委。4月17日，就联合国善后救济总署助蒋违约堵口放水造成人民生命财产重大损失事致函向联合国善后救济总署中国分署艾格顿将军提出抗议。12月，在饶漱石主持召开的华东局扩大会议上，遭到错误的批判。此后屡遭批判，并在华东局1948年12月形成的《关于克服党内无纪律无政府状态加强纪律性的决议》中对黎玉作出犯了“地方主义”、“山头主义”、“富农路线”等错误结论。
1949年3月，随华东局南下，离开战斗、生活了13年的山东。10月，任中共上海市委秘书长、市委委员。12月，经中央人民政府委员会第四次会议批准任华东军政委员会委员。
1950年12月，经中央人民政府委员会第十次会议批准任上海市人民政府委员。
1951年任上海市人民政府市政建设委员会主任。
1952年2月，在中共上海市委召开全市党员干部大会，被宣布撤销中共上海市委秘书长的职务。同年，被降职为上海市委劳动工资处处长。
1953年调北京工作，任中央人民政府财经委员会劳动工资教育组组长、财政组组长。12月，任中华人民共和国第一机械工业部副部长。
1954年8月，中央决定召开全国机械工业会议，计委委托一机部负责筹备。黎玉在会上介绍了机械工业的基本情况，并就机械产品范围分工、统一，销售和纳入计划归口等问题提出了重要意见。
1956年因患心脏病、糖尿病在杭州疗养。
1957年3月，参加一机部召开的上海地区金属材料节约会议并发表讲话。
1958年2月，一机部和二机部、电机部合并，成立新的一机部，仍任副部长。3月，在北京召开的产品设计工作及煤气机经验交流会上作了《当前排灌动力机械的情况和问题》的报告。4月，和段君毅、汪道涵就机械工业第二个五年计划、1958年指标及工厂下放等问题，向中央五人小组作了汇报。12月，在重庆主持召开第一机械工业部大型机床现场会议。
1959年4月，当选为第三届全国政协常委。5月，到湖北、湖南等地检查工作，并作了工作组工作小结，对国民经济严重比例失调的现象进行了针砭。8月，任农机部常务副部长、党组副书记。
1961年11月至12月，农机部召开第五次全国农机厅（局）长会议，到会作了报告，要求企业认真贯彻“七十条”。
1962年10月至11月，农机部召开第六次全国农机厅局长会议，到会并作了报告。陪同周恩来总理前往东北三省视察农业机械生产和使用情况。
1978年9月，任第一机械工业部顾问。10月，到江苏省南京、常州、无锡、苏州视察机械工业企业。11月，到上海市、浙江省、福建省视察机械工业企业。12月8日，由福州回到北京参加白坚同志骨灰安放仪式。12月中，去上海治疗疾病。
1979年3月，根据全国五届人大常委会六次会议决定，恢复农业机械部后任农业机械部顾问、部党组成员。8月28日，主持召开汇报会，听取广东省农机局关于广东省农机工业发展情况的汇报。9月10日，全国机械工业技术表演交流会在上海正式开幕，到会并讲话。
1980年7月，应山东省政协约稿，撰写《回忆周恩来同志、陈毅同志在济南军调小组的斗争》一文。8月，当选为五届全国政协常委。9月，代表农机部党组到吉林工业大学参加建校二十五周年纪念活动，在庆祝会上宣读农机部党组的贺信，并讲了话。
1981年7月，与李济寰一起去唐山，调查、回忆1934年组织唐山五矿总同盟大罢工的情况，走访了当年参加罢工的老工人。秋，因病住友谊医院。住院期间，撰写了《山东党组织的恢复与重建》一文初稿，并为山西原平县志撰写了《九穷史话》一文。
1982年1月初至4月底，因患糖尿病、青光眼、高血压、冠心病引起综合症住院。5月，到南京参加华东七省市党史资料征集工作会议。6月，在第三机械工业部参加“在京山东老同志座谈会"，座谈山东党史编纂工作。同月，由夫人谢青陪同到青岛疗养。在此期间，主要是撰写回忆录，并同老同志进行座谈，核对史实。7月，到山西太原参加华北五省、市、自治区党史资料征集工作会议。会后，偕夫人谢青回到山西原平家乡探望亲友。8月，先后到山东海阳、荣成、蓬莱、栖霞、长山、石岛、威海、烟台等地调研。其间为栖霞抗日烈士纪念馆和理琪同志纪念馆题词。月底，返回北京。9月，列席党的十二大会议。12月，出席在军事博物馆举办的武中奇书法展览开幕式。
1983年1月，为泰山题词：中华精神。3月，在京参加冀南党史资料征集会议。5月，经济南到泰安，参观徂徕山起义旧址，随后又到沂南参观青驼寺战工会旧址和莱芜战役纪念馆。18日在临沂烈士陵园向革命烈士墓敬献花圈。20日到日照。22日参观沂水县王庄原八路军山东纵队司令部旧址。经临朐、淄博，于26日到济南，随后返京。6月，当选为六届全国政协常委。8月，到河北永德参加冀鲁豫边区党史座谈会。
1984年6月至8月，到山东青岛疗养。经胶南县、五莲县、潍坊市、济南市返京。11月，到山东济南参加山东省党史资料征集工作座谈会。会议期间，书赠萧华：“戎马倥偬大志终酬，卸甲身轻壮心不已”。萧华书赠黎玉：“风雨同舟”。
1985年上半年，加紧了回忆录和其它党史资料的撰写工作。6月，完成回忆录第一部分，记述了从青少年时代到抗战爆发前夕的战斗历程。同月，完成了为纪念抗战胜利四十周年而撰写的《艰苦而伟大的斗争》-文。7月1日，在中国美术馆参观华东抗战摄影作品展览。同月，撰写《怀念王凤麟同志》一文。同月，完成《人民政协报》约稿《对崮峪战斗》一文。同月，完成《抗日战火中诞生的军队》一文，并准备在全国政协纪念反法西斯战争胜利四十周年座谈会上的发言。8月，参加全国政协召集的纪念反法西斯战争胜利四十周年各界人士、港澳同胞座谈会，并在会上发言。10月，着手整理和撰写《山东纵队发展史》。同月，因感冒住友谊医院。11月10日晚，突然病情加重。同月，正在外地疗养的徐向前元帅得知黎玉的病情后，立即派人前往医院看望。
1986年1月，中共中央总书记胡耀邦委托习仲勋、尉健行代表中央到医院看望黎玉。3月13日，中共中央批复：同意中共山东省委关于对华东局1948年对黎玉所作错误结论进行平反的报告，恢复其政治名誉。4月，转北京医院治疗。5月，彭真、万里、方毅、谷牧、郝建秀等同志先后到医院看望黎玉。5月30日凌晨，黎玉逝世。享年80岁。
