1938年4月，黎玉到延安向中央汇报工作，并请求中央支持山东抗战。回到山东后，黎玉将山东各地的抗日武装组建成山东纵队，并领导了山东纵队的五期整军工作，使山东纵队成为一支在党的绝对领导下，具有强大机动作战能力，能担负起重大战略任务的正规兵团。
（一）你站起来，让大家认识认识
山东抗日武装起义后，由于起义部队军政干部缺乏，武器落后，战斗经验不足；兵员多为农民和争取过来的地方武装，游击习气浓厚，平均主义倾向浓厚；加之民主政权建立较晚，没有稳定的后方，部队分散，交通不便，联络不畅，给养不足，各区起义部队的发展存在许多困难。怎样尽快提高部队的军政素质，加强起义部队之间的协调指挥，成为一个突出的问题。为此，中共山东省委决定派黎玉到延安，向党中央、毛主席请示汇报工作，以取得中央的指导和帮助。黎玉认为，办这件事，宜早不宜迟。乘着徐州尚未失守，铁路交通方便时，黎玉带上第四支队油印的军用护照，盖上大印，带上泰安的冯平、新泰的郅润清、费县的高其贵等人，走新泰到抱犊崮这条路，到达徐州。在徐州乘上火车，经西安，于1938年4月初顺利到达延安。
到延安后，黎玉首先向刘少奇、张闻天作了工作汇报。随后，毛泽东在窑洞里接见了黎玉，黎玉又向毛主席汇报了山东党组织和抗日游击队的情况。毛泽东一边认真地听黎玉汇报发动抗日武装起义的情况，一边在地图上不断地点点画画，并不时地问到一些细节。黎玉汇报完后，毛泽东非常高兴，连声说：“好，好。你们能抓住时机，建立起自己的武装，这是很了不起的事。”接着，他在地图上指着说：“你们应当向鲁南山区发展，注意在这一带建立根据地。没有根据地，游击战争就不能长期生存和发展。这个根据地也就是你们开展游击战争的大后方。”最后，毛泽东直起身子高兴地说：“好啊！中央支持你们。”
黎玉深感山东抗战责任重大，便不失时机地向毛泽东谈了山东所面临的问题，提出了干部和电台问题。毛泽东立刻答应先派中共陕甘宁边区书记郭洪涛率干部50余人，携带两部电台去山东。随后他对黎玉说：“我给你出个主意。你去武汉找恩来同志，就说要罗炳辉到山东工作。罗炳辉可是有名的红军将领，会打仗。他去你们那里，那你们就不是‘土八路’了”。黎玉还要求中央派一个主力团到山东，毛泽东说：“看来还要多一些。”几天之后，毛泽东在高级干部会议上作形势报告。当毛泽东讲到山东形势时，称赞了山东的工作，讲了山东省委白手起家建立抗日武装的情况；号召各地向山东学习，并指着黎玉，用洪亮的声音说：“你站起来，让大家认识认识。”
毛泽东对山东鲁西北的工作极为关心，亲自给时任国民政府山}东第六行政督察专员、保安司令的范筑先将军写了一封信，要黎玉送交。后来，黎玉回忆这段历史时说：“当我接到毛主席这封亲笔信时，心里热乎乎的。毛主席肩负着全国抗战的重任，已经够繁忙的了，而对山东的工作还关心的这样细致具体，使我备受感动，决心回山东更加积极工作，为早日打败日本帝国主义而努力。”
1938年6月，黎玉赶到武汉，向周恩来转达了毛泽东的指示。周恩来大力支持，但因罗炳辉忙于统战工作离不开，党中央又改派张经武去山东工作。后来，中共中央陆续抽调张经武、江华、吴克华、胡奇才等红军干部和长期在白区工作过的党员干部，以及抗大、陕北公学毕业的学员共160余人支援山东，并将这支队伍临时命名为八路军鲁东游击纵队指挥部，张经武、黎玉分任指挥和政委08月21日，黎玉、张经武率领这支干部大队，从延安出发，经西安、太行、冀南，返回山东。
（二）结交范筑先
1938年9月，黎玉和张经武率干部大队，到达鲁西北重镇聊城。范筑先将军得到消息，亲自率领军民列队夹道热烈欢迎，并把黎玉、张经武等送到住处。稍待休息后，范筑先又带领他的军政官员同黎玉等亲切会见。年近60岁的范筑先，见到黎玉带来毛泽东主席的亲笔信，非常高兴。在信中，毛泽东对范筑先在国难当头之际深明大义，以国家民族利益为重，坚决抗战的精神给予了高度的评价。范筑先看后，抖动着花白胡子，使劲拉着黎玉的手，连声说：“感谢毛主席的关怀，感谢毛主席的关怀！”并表示，一定同共产党合作抗战到底。黎玉还把从延安带来的毛泽东的《论持久战》一书，分别送给范老、张郁光等。
到达聊城的第二天，中共鲁西北特委在聊城原山东省第三师范学校礼堂举行了隆重的欢迎大会，范筑先也应邀出席。会上，黎玉代表中共山东省委和八路军山东纵队讲话。当黎玉向抗战老人范司令表示敬意，并代表毛泽东主席和朱德总司令向鲁西北全体军政干部致以亲切慰问时，全场爆发出长时间的热烈掌声。
在黎玉、张经武等离开聊城继续东进时，范筑先提出留一批延安干部帮助工作。黎玉同意留下几位同志在聊城工作，其中田兵担任了范筑先的秘书。
黎玉的聊城之行，不仅促进了鲁西北地区抗日民族统一战线的迅速发展，而且坚定了范筑先与日军血战到底的决心和信心。11月15日，日军进攻聊城，范筑先坚守聊城，同中共党员张郁光、姚弟鸿一起为国捐躯，谱写了一曲国共合作共同抗日的壮丽凯歌。
后来，黎玉回忆说：“范老是一位抗日民族英雄，他用自己的生命实践的诺言‘毛主席写亲笔信给我，我今生不能违背毛主席。当今之世，要救中国，要想不当亡国奴，惟有听共产党的话，谁真正抗日我拥护谁，所以我要跟共产党合作，要听毛主席的话，坚决抗战到底。”
1978年，在范筑先殉国40周年时，黎玉谱写了一首小诗：
日寇攻鲁韩先逃，抗日救国旗高举，共产党人是核心，我带干队聊城过，此信非同寻常信，聊城一战公捐躯，郁光迪红亦战死，四十年来风云变，
坚守聊城惟范公。平津健儿竞相从。人民起义势如洪。为公捎来信一封。亲笔署名毛泽东。为国殉难万古雄。灌溉沂蒙花更红。四化完成再告翁。
（三）组建山东纵队
1938年10月，日军占领广州、武汉以后，抗日战争进入相持阶段。日军暂时放松了对正面战场的进攻，将主要兵力对付共产党领导的敌后抗日武装力量。
这时期，中共山东地方组织及其领导的山东八路军，相对来说还比较弱小，总兵力不足6万人，且分散在全省各地，处于各自为战状态，在战略上没有形成统一的领导和指挥，部队的编制也不尽相同，而且名称也五花八门。这样一支部队是远远不能适应抗战形势发展的需要的。1938年6月8日，毛泽东电示山东，凡属我们独立领导已得广大民众拥护，邻近友党友军又甚欢迎之游击队，以用八路军名义为合宜。因此等地方国民党均将控制，用普通名义则不得不听其支配，甚至通令解散，八路（军）无权过问，甚至通令解散，用八路（军）名义，则无此弊。为了加强对山东各地武装起义部队的领导，中共中央决定成立八路军山东纵队。
11月初，黎玉和张经武等到达泰西大峰山区，黎玉、张经武听取了泰西特委和自卫团的汇报后，将随行的刘海涛等8人留在泰西工作。11月底，黎玉、张经武等到达苏鲁豫皖边区省委(1938年5月下旬，中共中央将山东省委扩大为苏鲁豫皖边区省委，由郭洪涛任书记)驻地沂水县岸堤镇（今属沂南县）。在岸堤，黎玉向苏鲁豫皖边区省委传达了中共中央关于进一步发展山东抗日游击战争，建立抗日根据地的指示。不久，边区省委移至沂水县王庄。12月8日，中共中央根据抗战形势的变化，决定将中共苏鲁豫皖边区省委改为中共山东分局，郭洪涛、张经武、黎玉为委员。郭洪涛负责地方工作，黎玉负责部队工作。
12月27日，根据中共中央的决定，八路军山东纵队在沂水县王庄成立，指挥张经武（旋调中央工作），政委黎玉，副指挥王建安，政治部主任江华，参谋长王影。在山东纵队的领导机构正式成立后，黎玉立即着手整编山东各地的抗日游击队。经过整编，山东纵队下辖9个支队、1个总队、2个团、1个基干部队，共24500人。山东纵队的诞生，标志着山东抗日武装由若干分散的游击队成为战略上统一指挥的游击兵团。
（四）创造青年的模范党军
山东纵队是一支新建立的部队，不可避免地存在着许多问题。主要有：部队的成分比较复杂，有少数坏人混进了部队，在环境恶化时，逃跑甚至叛变的现象时有发生；有的人员家庭观念和地域观念浓厚，组织纪律观念淡薄，不愿离开自己的地区；党的组织没有在各级部队普遍建立起来，思想政治工作开展得不够经常有力，党员和战斗骨干少，大多数战士是文盲、半文盲，对我军的宗旨与政策缺乏基本的了解；有的战士连基本的军事技术也不懂，打起仗来只凭热情和勇敢；有的部队武器装备很差，甚至有些战士没有枪支，还使用大刀、长矛等原始武器。黎玉认识到，这样的一支部队是无法与其所担负的使命相适应的，要使山东纵队完成历史所赋予的艰巨任务，必须将其建设成为一支正规化的革命军队。自1939年2月至1942年2月，黎玉先后领导了山东纵队的五次整军运动。在整军过程中，黎玉提出了“创造青年的模范党军”、“向老八路看齐”等口号。
1939年2月7日，八路军朱德总司令、彭德怀副总司令向全军发出关于整军计划的训令。朱德、彭德怀还专门电示山东纵队指挥张经武、政委黎玉，要求山东纵队按正规军编制，以节省干部，节约经费，充实人数与加强战斗力，便于整理训练和隐蔽我之力量。
1939年2月至5月，根据八路军总部的指示，黎玉主持了山东纵队的第一期整军工作。第一期整军工作的中心是巩固部队，加强部队的正规化建设。
山东纵队首先进行了组织整编。为了适应对敌斗争的需要，山东纵队大部分支队取消了团的编制。整编后，山东纵队所属部队整编为7个支队（即第一、二、三、四、五、六支队和陇海游击支队）、2个团及地方部队。在对山东纵队进行组织整编的同时，黎玉着重对山东纵队进行了政治、军事整训。
在进行政治整训中，鉴于部队的实际状况，黎玉要求各部队在整训时要循序渐进，不宜操之过急、要求过高，整训要侧重于部队的巩固和正规化建设，基本的要求是将分散的游击队组织起来。黎玉在整训中突出抓了3项工作：一是进行纪律教育，大唱《三大纪律八项注意》歌，强调一切行动听指挥，步调一致才能得胜利。由于部队原来纪律比较松散，要求过严，有些人会因此离队。黎玉要求部队在执行纪律时要慎重，主要靠政治思想工作和党员的模范带头作用。但对于坏人要坚决清除出队，对个别提出离队的人，也发给路费准其回家。二是加强部队的党组织和政治工作制度建设，吸收先进分子入党，选派优秀干部充实部队的政治工作队伍。三是抓了部队指战员，特别是干部的教育和训练。黎玉要求各部队建立平均每天两小时的学习制度，学习毛泽东的《论持久战》、《抗日游击战争的战略问题》、《中国共产党在民族战争中的地位》等著作，学习党中央的有关指示，学习联共（布）党史、《大众哲学》等书籍，提高干部的军政素质。纵队还举办各种训练班，培养各方面的干部，黎玉经常去给学员讲课。为帮助、指导部队的整训，黎玉还亲自下到基层部队，给部队的整训以具体指导。
在军事整训中，针对部队的实际状况和战争的要求，黎玉要求各部队把重点放在游击战的战术训练、射击、投弹、刺杀等基本军事技术训练和队列训练方面。为此，纵队特地在沂水县王庄以北的柳头村设立爆破训练班。黎玉派王风麟主持。王风麟是黎玉从延安要来的干部，曾在苏联学习过工兵爆破技术。在黎玉的关怀和支持下，王风麟大胆工作，培训了40多人，使爆破技术在全纵队得到推广，在以后的攻坚战中发挥了巨大的作用。
在一期整军中，黎玉对部队的后勤保障工作也十分重视，在黎玉的指导下，山东纵队的军需供给、兵工生产和医疗卫生工作得到加强，初步解决了部队的需要。在一期整军期间，为了适应斗争形势的需要，加强山东的宣传文化工作，黎玉决定创办鲁迅艺术学校。为办好鲁艺，黎玉选调山东纵队第五支队宣传队长王绍洛任校长，山纵宣传大队大队长华楠任政治协理员兼党支部书记。1939年1月下旬，黎玉找王绍洛谈话。他说，抗战以来，山东各项工作都有了很大的发展，但是文学艺术方面还跟不上形势发展的需要，我们必须认真地办好文化艺术事业。现在，山东分局和山东纵队决定创办山东鲁迅艺术学校。这个学校要根据敌后的环境，以延安鲁迅艺术学院为榜样，通过办校，把山东省的绝大多数文学家、艺术家组织起来，并请他们当教员。黎玉鼓励王绍洛“在干中学，在学中干”把鲁艺办好。黎玉还找华楠谈话，对华楠说，你是在延安“抗大”学习过的，派你去就是为了加强党的建设和政治工作，继承和发扬“抗大”理论联系实际和艰苦奋斗的作风。黎玉还指出“鲁艺”不仅要在抗日的宣传文化工作方面发挥作用，还要给部队培养和输送人才。1939年3月27日，“鲁艺”在朱位举行了简朴而隆重的开学典礼。
30日，徐向前、朱瑞召开了由山东分局和山东纵队领导参加的高级干部会议。会上，黎玉汇报了山东纵队的政治工作。徐向前、朱瑞传达了中共中央和中央军委的指示精神。会议分析研究了山东的抗战情况，安排了组建第一纵队司政机关的工作。
1939年8月1日，经中共中央批准，八路军第一纵队正式成立，徐向前为司令，朱瑞为政委，统一指挥山东和苏北的八路军部队。8月9日，北方局复电批准成立山东军政委员会，朱瑞、徐向前、郭洪涛、罗荣桓、陈光、黎玉为委员，朱瑞任书记。山东军政委员会为统一山东地区党政军民工作的领导机关。10月13日，第一纵队与山东纵队机关合并，徐向前、朱瑞与黎玉合署办公。徐向前以第一纵队的名义直接指挥山东纵队所属部队。山东纵队的番号仍然保留。
第一纵队成立后，黎玉协助徐向前对山东纵队进行了第二、三期整军。第二期整军是在1939年8月至12月进行的，中心任务是加强党的政治工作，巩固新发展的部队。1940年2月1日至5月30日，山东纵队又开展了以加强党的建设为中心任务的第三期整军。5月1日，为纪念五一国际劳动节，黎玉在《大众日报》发表《抗战两年的山东纵队》的文章，对山东抗日战争局势作了精辟的论述，对山东纵队两年来对山东抗日战场所做的重大贡献作了客观的评价。7月1日，黎玉在《大众日报》发表文章，纪念党成立19周年，纪念中华民族坚持抗战三周年。
1940年6月，徐向前奉命回延安参加中共第七次代表大会的筹备工作。1940年7月，山东纵队在沂南县吉拉子村召开党员代表大会，黎玉主持了大会。大会选举产生了山东纵队党务委员会，徐向前、张经武（此时，徐向前和张经武都已离开山东）、朱瑞、黎玉、罗舜初、江华等15名委员，黎玉为书记。会议研究制定了山东纵队第四期整军的任务与计划。会后，黎玉主持了山东纵队的第四期整军工作。
根据八路军总部的整军训令和山东纵队党代表大会的决定及山东抗日形势的新变化，黎玉提出了第四期整军的方针和任务：第一，充实编制，扩大新单位，实现主力部队全部正规化，军分区地方部队基干化。第二，培养与选拔优秀干部，特别是要在战斗和实际工作中大胆提拔忠实勇敢优秀的工农干部。第三，加强战略战术理论学习，培养有战略眼光、有才能、能独当一面的营连排干部，提高战术素养与管理水平。第四，健全与充实司令部、供给部、卫生等部门的工作，严格制度，提高工作效能，改善工作方法。尤以供给机关应严格各种经济制度，注意节约与发展生产，自力更生，加强兵工生产。1940年9月，山东纵队所属各部队根据黎玉的指示开始了整军工作。第四期整军原定到1940年年底结束，后因形势的变化，延期到1941年2月底。
经过第四期整军，山东纵队建成了由主力部队、地方部队和游击队三者结合、战略上统一指挥、具有更大机动作战能力的野战兵团。
为进一步提高山东纵队的军政素质，1941年6月，黎玉决定在第四期整军的基础上，对山东纵队进行第五期整军06月23日，在山东高干会议上，黎玉提出了五期整军的方针任务：第一，在政治、思想与组织上更高度的提高与巩固自己。第二，不断进行反“扫荡”斗争，加强对敌伪的政治攻势，与敌伪展开全面斗争，将军事斗争与政治战、经济战结合起来。第三，扩大与建设巩固的抗日根据地。黎玉要求全军提高对根据地的认识，主动向敌占区挺进，用武装斗争保卫和巩固根据地，反对一切违反政策，不爱护根据地人力、物力的不良现象。
第四，发扬我军的光荣传统和优良作风，严整军容，坚持制度，加强生产。黎玉特别强调提高战斗的顽强性、灵活性与技术上的准确性。他指出，我军顽强性还不够高，缺乏最后五分钟的坚持。第五，打击投降派，扩大交朋友的范围。第六，扩大部队一倍，整理编制，力求装备，充实连队，实现全面正规化。第七，健全军区，加强地方武装工作，扩大民兵，发扬有组织的民兵战。第八，有计划地开办各种训练班，大批轮训和培养选拔干部，建立干部考试制度，定出干部学习计划。第九，健全医疗卫生制度。
1941年8月，山东纵队各部队开始了第五期整军。由于自11月起，日军对山东抗日根据地实行大规模的“扫荡”，第五期整军不得不延期至1942年2月才结束。经过五期整军，山东纵队加强了部队建设，完成了中央军委和八路军总部规定的扩军和整训任务，使年轻的山东纵队迅速由一支分散在各地的游击队成长为一支在党的绝对领导下，具有强大机动作战能力，能担负起重大战略任务的正规兵团。在五期整军期间，山东纵队还先后将4万人的兵力输送给新四军和八路军一一五师。
