抗日战争进入相持阶段后，根据中共中央的指示，黎玉领导了山东抗日根据地的政权建设工作。在1940年8月召开的山东各界联合大会上，黎玉当选为山东省战时工作委员会首席组长。针对政权建设经验的欠缺，黎玉提出了“在斗争中学习，在学习中斗争”的口号。
（一）抗日民主政权，不让任何人撤换
抗战爆发后，黎玉及时领导了全省抗日武装起义，为在山东各地建立民主政权打下了良好的基础。但由于当时党的工作刚刚由地下秘密斗争转入武装斗争，对政权建设的认识和经验都不足，各地抗日武装建立以后，未能迅速在抗日游击队控制的地区广泛建立抗日民主政权，即使在胶东的蓬莱、黄县、掖县3县建立的抗日民主政权的县长，也经过国民党政府的委任。因此，山东在抗战初期的政权建设工作是薄弱的。
抗日战争进入相持阶段后，国民党政府设置重重障碍，阻挠共产党领导的抗日根据地的发展和民主政权的建立。在此情况下，1939年4月，中共中央在《中央对山东问题之处置办法》中指出：“山东方面过去未能于（国民党）省府、县长西逃时普遍委任自己的县长，有些已委任的，复接受沈鸿烈命令撤销……如上述情形不加改变，山东创造根据地于坚持抗战是要受挫折的。”中央要求山东分局“建立坚强的抗日民主政权，不让任何人撤换。”5月19日，中共中央书记处在关于山东工作方针的指示中再次指出：“在政权问题上，应认识到无论八路军部队或地方游击队，如无政权则决不能发展、巩固与建立根据地；因此，已得的政权决不应放弃，并还应努力争取新的县区政权。”
遵照中央的指示，黎玉、徐向前、朱瑞等，决定把放手发动群众、建立民主政权当作一项重要任务来抓，并要求各级干部端正对政权建设的认识，接受过去忽视政权建设的教训。1939年6月，日军对鲁中进行大“扫荡”，国民党地方政权纷纷垮台。面对这一有利时机，黎玉要求山东各地党组织，抓住机会，加强政权建设。在黎玉的指示下，鲁中、鲁南地区相继建立了大批县、乡、区政权。
1939年12月6日，中共中央再次指示山东，要山东分局“应当用一切努力争取政权”。中共中央还提出了一些争取政权的办法：在敌人“扫荡”中旧政权人员跑了，我应立即委任，然后再行民选，以树立新政权；在反磨擦中建立新政权；在民众为民主民生的斗争及反对汉奸、反动分子的斗争中建立新政权；即使旧政权存在，我亦应寻机建立新政权；在还能用灰色面目求得国民党当局委任的地方，仍求其委任；除自上而下地争取政权外，还应自下而上地争取政权，决不应放松争取县区乡政权的机会。中央的指示，使黎玉对政权建设重要性的认识更加深刻。
1940年，在黎玉、徐向前等人的领导下，山东抗日根据地的政权建设工作迅速开展起来。2月，山东分局决定设政府工作部，以统一领导山东抗日民主政权的建设工作。山东分局还规定，各区行政机构依次为主任公署、专员公署、县政府及区乡政府。山东分局要求凡是有条件的地方应立即成立县和专区政权03月6日，中共中央发出《抗日根据地政权问题的指示》，要求建立“三三制”的抗日民主政权。根据中央的指示，黎玉和徐向前、朱瑞等人，做出了《关于政权问题的新决定》。《决定》要求各级党委充分认识到政权工作的重要性，经常关心政权工作，选派优秀干部做政权工作；在各级政府中建立党团组织，以保证执行党的路线、方针、政策，党委不能直接干涉、包办、代替政府工作；各级政府、参议会要实行“三三制”原则。与此同时，根据国民党实行宪政的许诺，山东各地成立了由共产党领导的宪政促进会。宪政促进会团结抗日爱国的各界人士，发动群众成立各界参议会，进行民选县长等工作。在黎玉、徐向前、朱瑞等人的领导下，山东各地普遍建立了工、农、青、妇、文、儿童、自卫队（团）等各种抗日群众团体，作为抗日民主政权的基础。经过艰苦的努力，到1940年7月，山东省已普遍建立县、区级抗日民主政权，建立全省统一的行政机关、参议会和各群众抗日团体的领导机关的条件成熟。
（二）当选战工会首席组长
1940年7月26日，在沂南县的青驼寺村东的白果树下，山东省国大代表复选大会、山东省民众总动员委员会成立会、山东省工农青妇文化各界总会成立会、山东省各界救国联合会成立会的联合大会隆重开幕。出席大会的有鲁西、胶东、鲁南、鲁北、清河、鲁中各地试选、初选的国大代表，有各地区的工、农、青、妇、文动员委员会和各团体代表，共300多人。
在嘹亮的《救亡进行曲》和《大会会歌》声中，中共山东分局秘书长霍士廉宣布大会开幕。代表们一致通过了由黎玉、朱瑞等17人组成的大会主席团名单。随后，黎玉和全体代表一道向孙中山遗像和毛泽东像致敬，向抗日阵亡战士默哀。
黎玉在热烈的掌声中，黎玉代表中共中央山东分局和山东八路军发表了热情洋溢的讲话。黎玉首先对联合大会的胜利召开表示热烈的祝贺。他说：
今天联合大会开幕了，是每个同志，每一个抗日的民众极高兴、极兴奋的一件大事，尤其从远方来到的各位国民代表大会试选代表，各位工、农、青、妇、文化、动委会代表在长途跋涉当中，经过了敌伪袭扰、顽固分子的阻挠与破坏，日夜辛劳，终而为今天举行的隆重的联合大会而奋斗的目的是成功了，我们应该庆祝！应该兴奋！兄弟代表中国共产党山东分局及山东八路军谨祝诸位代表同志健康，并祝大会成功！
接着，黎玉分析了当前的时局，总结了山东抗战两年来所取得的成绩，指出了联合大会所担负的任务。就当前的时局，黎玉指出：一方面，由于一部分大地主大资产阶级悲观失败情绪的增长，我国抗战进入了空前的妥协投降的危机时期，进入了空前的困难与空前的危险阶段，山东的抗战也进入了艰苦斗争的新阶段。另一方面，抗战三年来血的教训说明，只有结束一党专政，实行革命的民权主义，实行新民主主义，才能够使我们反攻有力量，建国有基础。所以，当前又是全国人民热烈要求民主政治的新时期。
就山东抗战两年来所取得的成绩，黎玉指出：这是从斗争中得来的，用许多人的热血和头颅换来的。我们今后担负的任务还是复杂的，奋斗力量不是一个人，一个党派，一个群众团体可以担负起来，而是需要多方面的力量来奋斗，是需要结成坚固的抗日民族统一战线来实现。他满怀信心地表示，我们完全有把握的自信，我们不但可以坚持山东游击战争，而且一定可以把日本帝国主义赶出中国去！
就联合大会所担负的任务，黎玉说：我们山东还是远远地落后于华北其他省份，我们在华北还是最弱的一个阵地，我们要坚持抗战，我们要坚持团结，我们要坚持进步，我们要克服妥协投降的危险，我们要实现民主政治，我们要组织一切雄伟的抗日力量，我们要巩固抗日根据地，我们要准备反攻，我们就希望大会来圆满的解决这些任务。
最后，黎玉代表中共中央山东分局和山东八路军向大会表示：中国共产党山东分局与山东八路军是坚决为以上抗战目标而奋斗到底。坚决与山东三千八百万民众共患难、同甘苦，坚决与诸位代表、各个抗战党派、各个抗日群众团体，为山东人民的生存与幸福而奋斗到底。7月27日上午，黎玉到各组参加讨论。下午，和主席团成员进一步研究如何开好会议的问题。30日，黎玉将主席团起草的《山东省临时参议会组织条例》提交大会讨论。该条例共27款，主要内容是：山东省临时参议会为代表山东省全体人民的民意机关，同时规定了山东省临时参议会的任务、工作范围和实施细则。经7个多小时的热烈讨论，全体代表一致通过。
7月31日，联合大会一致否定了国民党圈定的山东国大代表，选举黎玉、罗荣桓等61人为“真正代表山东民意”的国大代表，并将选举结果电告国民党中央。联合大会还选举产生了山东省临时参议会，制定了《山东省战时工作推行委员会组织大纲》，选举产生了全省统一的权力机关——山东省战时工作推行委员会（简称山东省战工会）。
1940年8月1日，是八一南昌起义13周年纪念日，也是山东省临时参议会和山东省战时工作推行委员会成立的日子。为了庆祝节日，联合大会举行了规模盛大的阅兵典礼。阅兵典礼结束后，分别举行了山东省临时参议会开幕式和山东省战时工作推行委员会成立大会。在山东省战时工作推行委员会成立大会上，选举产生了领导机构和领导人员，黎玉等23人当选为委员。8月13日，黎玉等19名委员举行了山东省战时工作推行委员会首次全体委员会议，通过了《山东省战时工作推行委员会组织大纲》，确定了委员分工，由黎玉担任首席组长（即委员会负责人，次年改称主任委员），决定全体委员在17日举行宣誓就职典礼。
8月15日，临沂、费县、蒙阴等地的日军调集兵力，准备进犯青驼寺。黎玉一面布置兵力反击进犯的敌伪，一面决定联合大会在第二天继续进行。8月16日，青驼寺周围传来了阵阵枪声，几股进犯青驼寺的敌伪军，遭到了猛烈的反击。在枪声中，黎玉神情自若地向大会上作了《论山东目前投降与反投降的斗争》的报告。在报告中，黎玉说：投降与反投降就是山东目前的新形势，山东投降派正在进行最卑鄙、最无耻、空前未有的投降勾当。战胜妥协投降，是我山东全省抗日军民的紧迫任务。黎玉接着指出：投降分子是由顽固分子中分化出来的。过去，我们和反共顽固分子的斗争，主要是磨擦和反磨擦的斗争，目前与今后则主要是投降和反投降的斗争。黎玉还特别指出：我们必须深入宣传教育群众，随时揭发他们的伪装。应该做好中间势力的工作。做抗战的模范，也要做团结的模范。在山东投降派日益明目张胆地进行投降活动的阶段上，我们必须使光辉的抗日民族统一战线的旗帜，飘摇在任何角落上，必须使一切抗日力量团结到底。
黎玉的报告结束后，恰逢阻击敌人的部队胜利返回。会场上顿时一片欢腾，黎玉和代表们共庆胜利。
（三）宣誓就职
8月17日上午9时，在联合大会会场，黎玉和战工会全体委员举行隆重的宣誓就职典礼。出席典礼的有战工会全体委员，党政军各方面负责人，各群众团体代表和报社记者等500多人。在宣誓典礼上，黎玉带领全体委员，高举右手，诵读誓词。
宣誓后，监誓人范明枢和各群众团体的代表相继致词，对战工会的成立表示祝贺，并提出了希望和要求。黎玉代表山东省战时工作推行委员会致答辞。黎玉说：战工会是在全国空前危险、空前困难的时候，是在山东“扫荡”和“反扫荡”、投降与反投降、民主与不民主斗争激化的环境中成立。因此，省战工会要成为反“扫荡”斗争与反投降战斗的机关，要成为新山东、旧山东斗争过程中初步的最高民主堡垒，成为推动山东战时工作与山东建设的机关。虽然担子很重，任务巨大，我们感到难以胜任。但是，处在这个时候担子是不能推脱的。只要是大家的抗战任务，就应当努力担负起来，应该贡献自己最大的力量。在集体领导下，在斗争中学习，在学习中斗争，实现这历史意义的使命，争取抗战的胜利。
在答辞中，黎玉还提出了建设新山东的十大方针：(1)使战时工作推行委员会成为坚持抗战的机关；(2)实行民主，完成新山东的新民主主义政治；(3)适当地改善民众的生活，提高民众抗战的积极性。
(4)战工会是民众的、战斗的带有政权性的组织，要以自己的模范行动、坚持、巩固、扩大抗日民主统一战线；
(5)动员民众参战，发展民众武装；(6)缩小敌占区，扩大我占区；
(7)提高民众觉悟，发扬民众积极性；
(8)战胜敌人经济封锁，粉碎敌人“以战养战”企图，建设我之敌后财政经济；
(9)健全各级抗日民主政权机构，发挥抗日民主政权领导抗战的效能；
(10)实行廉洁作风，惩戒各种贪污腐化营私舞弊的行为。
黎玉强调：这10条正是战工会现在与将来努力的方向，我们一定要以百分之百的战斗精神来实现它。他还严正表示：
我们战工会全体委员已在3800万人民代表面前这样宣誓了，我们已开始执行我们的工作。我们能力虽然薄弱，但自信要在工作中学习，战争中锻炼，以不屈不挠、艰苦奋斗的精神，实现大家托付给战工会的任务；同时也希望各界群众团体，各界人士，以至诚的热忱，不时辅助与推动战工会工作的开展。
8月18日，驻临沂、费县、蒙阴的日伪军，调集1500多人，分三路向青驼寺进犯，妄图对联合大会实行突然袭击。黎玉决定在鼻子山一带打击敌人。同时，鉴于敌情严重，为保证联合大会的安全，黎玉和主席团成员决定组织代表连夜转移。夜幕降临后，黎玉和代表们一道，收拾好行装，在淡淡的星光下，越过青驼寺北面的小山，沿着崎岖的山路向东转移。就在代表们转移的当夜，8股伪军攻占青驼寺，但7股扑个空，在一阵烧、杀、抢、掠后，于19早晨向孙祖选发，继续追击联合大会代表。当到达鼻子山时，遭到我军伏击。经一日激战，日伪军在死伤百余名后，向西北狼狈逃窜。我军乘胜追击，占领青驼寺。其他日伪军也在遭到惨痛打击后，逃回临沂、蒙阴。这次战斗，共打死打伤日伪军200多人，并缴获了大量的军用物品，这就是著名的鼻子山战斗。8月20日，联合大会代表转移到张庄。在张庄，联合大会代表分组讨论黎玉、朱瑞、李竹如等人的报告。21日，代表们又转移到孙祖。在孙祖，联合大会召开大会，庆祝鼻子山战斗的胜利。在庆祝大会上，黎玉发表了讲话。此后几天，联合大会代表继续分组讨论黎玉等人在联合大会上的报告。25日，联合大会通过了黎玉等人的报告026日，联合大会胜利闭幕。
（四）主持第一次全省行政会议
联合大会闭幕后，在黎玉主持下，山东省战工会制定了《山东省战时施政纲领》。《施政纲领》提出了坚持抗战，实施民主，减租减息，加强财政经济建设，发展文化教育事业，广泛武装民兵，实施解放的工作方针。9月2日，山东省临时参议会举行全体会议，审议通过了《山东省战时施政纲领》。
9月13日，在黎玉的主持下，山东省战工会在沂南县青驼寺召开了第一次全省行政会议。会议就山东抗日根据地的政权建设、财政经济建设及地方武装、群众武装、教育、司法、政府作风等问题，进行了热烈的讨论，制定了各项政策。11月11日，在完成了各项工作之后，会议闭幕。在闭幕会上，黎玉致闭幕词。
在闭幕词中，黎玉充分肯定了第一次全省行政会议所取得的成就。他说：我们很圆满的总结了各种工作的优点和缺点，大大小小的问题。尤其是山东战工会的各项新民主主义的政策，都经过了热烈的讨论、深刻的研究。这种伟大的收获，正是民主运动在山东踏上了新阶段的开始，是建设抗日根据地的保证。
黎玉指出：行政会议闭幕后，山东新民主政权将要负起与迎接更重大更艰难的任务。这就是，建设坚强的山东抗日阵地，使山东3800万人民脱离敌人投降派的黑暗统治，走向光明斗争的道路。
为完成这一重大艰难的任务，黎玉要求各级政府做好六项工作：（一）健全战争动员工作；（二）改善民众生活；（三）加强财政经济建设；（四）开展国民教育；（五）提高行政人员的能力；（六）建立新民主主义的作风。
最后，黎玉要求参加会议的各级干部，把行政会议所确定的各项政策带回去，切切实实地执行。
山东省统一的抗日民主政权的成立和各级抗日民主政权的建立，标志着山东抗日根据地正式形成。从此，山东各地抗日民主政权更加蓬勃开展。到1940年底，山东抗日根据地辖区有鲁中、鲁南、滨海、胶东、清河、湖西、鲁西、冀鲁边和苏皖地区，各地都先后建立了行署、专署，各县也都相继建立了参议会和民主政府。人口约1200万，面积约3.6万平方公里。
