抗日战争爆发后，在黎玉的领导下，山东省委制定了组织、发展抗日游击队的十大措施，组织、领导了山东各地的抗日武装起义，开创了在没有主力部队支援下，独立自主地建立武装部队和抗日根据地的先例。黎玉还直接组织、领导了徂徕山抗日武装起义。
（一）脱下长衫，到游击队去
1937年7月7日夜，日本侵略军悍然向北平西南卢沟桥的中国驻军发动进攻，第二十九军奋起抵抗，抗日战争全面爆发。
抗日战争爆发后，中共中央指示山东党组织，除了要极力争取国民党抗战外，主要是迅速动员组织人民，建立抗日民族统一战线，积极开展游击战争，创建抗日根据地，把坚持山东抗战的责任独立自主地担当起来。7月中旬，黎玉从延安回到济南，立即召开了省委会议，传达中共苏区代表会议和白区工作会议精神，研究如何领导山东人民进行抗战的问题。经过研究，山东省委决定立即在全省发起群众性的抗日救亡运动，扩大抗日民族统一战线，广泛组织游击队，开展敌后抗日游击战争。同时决定编发不定期刊物《齐鲁文化》，加强抗日宣传。会议还根据中共中央的决定，将山东省工委正式改称中共山东省委，黎玉任书记，张霖之任组织部部长，林浩任宣传部部长，景晓村任秘书长。会后，为了尽快地做好发动抗日武装起义的准备工作，黎玉派人到各地开展宣传和组织工作，动员各方面力量加入抗日行列，在各地广泛建立各界抗敌后援会、民族总动员委员会、自卫团、抗战剧团等群众性的抗日组织。
9月中旬，中共中央北方局在太原召开山西、河北、山东、绥远等省省委和山西、河北省部分特委及八路军驻太原办事处负责人会议，研究部署开展抗日游击战争、建立敌后抗日根据地，独立坚持华北抗战等工作。会上，刘少奇作了《抗日游击战争中的若干基本问题》的报告，指出游击战争是今后华北人民抗日的主要斗争形式，强调建立根据地和组织抗日民主政权的重要性。会议确定了全党搞武装，抓政权，放手发展自己力量的方针，并发出“共产党员脱下长衫，到游击队去”的号召。黎玉代表山东省委参加了会议。会上，黎玉向北方局报告了山东的情况，并要求北方局派军政干部到山东工作，帮助山东组建抗日游击队，开展抗日游击战争。会议同意了黎玉的请求，决定派军事干部到山东。
（二）省委的决心
1937年10月，日军大举侵入山东，山东形势十分危急。
从北方局开会回到济南后，黎玉立即召开省委紧急会议，再次讨论如何领导抗日游击战争问题。根据党在敌后开展游击战争的方针、党的抗日救国十大纲领以及北方局的指示，黎玉决定加快恢复、发展山东各地党组织，大力开展抗日民族统一战线工作，广泛组织各种抗日救亡团体，发动抗日武装起义，建立抗日武装。会议根据《抗日救国十大纲领》，结合山东的实际情况，制定了组织、发展抗日游击队的十项措施，主要内容是：
(1)要保卫山东，就要组织山东抗日游击队；共产党员应该模范地脱下长衫到游击队去；每个党员要发动群众参加或组织队伍。
(2)号召广大群众，尤其是教员、学生、知识分子参加抗日游击队、山东人民抗日救国军。
(3)团结一切不愿做亡国奴的人们起来参加部队，扩大抗日民族统一战线。
(4)部队组织发动的时间要适当掌握，不能过早，也不能过迟。过早要遭到韩复榘的镇压，过迟则会失去机会，必须在韩复榘退却逃跑、日军正要打进来的时候。
(5)接受溃兵的武器，同时也要用说服的方式来动员民间的枪支，号召“有枪出枪，有钱出钱”。
(6)部队组织起来后，必须积极向日军开展斗争，提高群众对部队的认识。
(7)部队组织发动后，必须建立政治工作，要建立党的组织，保证党的领导。
(8)部队给养，可以实行动员募集和没收汉奸财产的办法解决，并号召“有粮出粮”。
(9)部队要有严格的组织纪律，实行“三大纪律、八项注意”，必须做到秋毫无犯。
(10)部队组织起来，必须帮助群众建立抗日民主政权。
这十条纲领对发动抗日武装起义的时机及部队番号、组织成分、武器来源、政治工作、组织纪律、后勤供给、行动任务作了明确规定。
抗日游击队十大措施，是山东开展抗日游击战争的重要文件，是以最快的速度组织发展自己的部队，在山东发动抗战的有力武器。
在这次会议上，省委还研究制定了分区发动抗日武装起义的计划，决定按东西南北中将山东划分为十个地区，在冀鲁边、鲁西北、胶东、鲁中、鲁东南、鲁西南等地建立10个军或10个支队。为了摸索经验，闯出一条开展敌后抗日游击战争的路子，有力地指导全省的抗日斗争，黎玉还决定在泰安县的徂徕山由省委直接领导武装起义。
组织武装起义，急需大批党的干部和军事干部。黎玉一面报请中央，要求派一批红军干部来山东，一面积极营救被当时国民党山东省政府主席韩复榘关押的共产党员。通过多次交涉，韩复榘被迫同意释放在押的约400名共产党政治犯。9至11月间，赵健民、姚仲明等人陆续出狱。黎玉立即将他们派遣到山东各地，和当地的共产党员共同恢复和发展党的组织，筹备发动抗日武装起义。
在中共中央和北方局派来的军事干部洪涛、赵杰等8名红军干部来到山东后，黎玉也将他们分别派到鲁西北、冀鲁边、鲁中和鲁东工作，作为领导武装起义的军事骨干。
在黎玉的主持下，山东省委还积极恢复发展山东各地的党组织。到1937年12月，山东省委先后恢复、建立鲁西特委、鲁北特委、鲁西南工委、鲁东工委、淄博矿区工委、胶东特委、济南市委及部分县委或县工委。山东各地党组织力量的迅速壮大，为领导发动全省人民举行抗日武装起义，开展敌后游击战争，创建抗日根据地，提供了坚实的组织保证。
在恢复和发展党组织的同时，在黎玉的领导下，山东各界人民的抗日救亡运动也有了深入的发展，在许多地区成立了“救国会”、“救国青年团”、“民众训练队”、“抗敌后援会”、“抗敌救亡社”、“战地服务团”、“游击战训练班”、“民众动员委员会”、“民先队”等合法、半合法的抗日救亡团体。
在黎玉的统一部署下，山东各地的抗日武装起义准备就绪，抗日烽火即将燃遍齐鲁大地。
（三）准备起义
徂徕山起义是黎玉直接领导的抗日武装起义。
徂徕山位于泰安县东南30多公里处。它北依泰山，南靠蒙山，东邻莲花山，西靠津浦铁路，泰（安）新（泰）、泰（安）莱（芜）、新（泰）汶（口）等公路分布其周围，战略地位十分重要。同时，徂徕山地处山东腹地，在这里举行武装起义，便于与全省其他地区的抗日武装取得联系。另外，徂徕山周围的泰安、新泰、莱芜、泗水等地有共产党员200多人，群众基础好，有利于开展抗日游击战争，建立抗日根据地。因此，黎玉在研究部署全省抗日武装起义计划时就决定，由省委直接领导泰安、莱芜、新泰、宁阳、泗水等县的党组织，以徂徕山为集结点，发动抗日武装起义。
早在1937年8月，黎玉就指派鲁宝琪担任泰安县临时县委书记，联络失掉关系的共产党员，恢复发展党的组织，发起组织“泰安县民众抗敌自卫团”。9月，黎玉又决定建立鲁中工委，以加强对泰安、莱芜、新泰、泗水等县党组织的领导，并任命孙汉卿为书记。10月，黎玉又派特派员刘居英到莱芜，指导莱芜党的工作。与此同时，新泰、泗水都恢复和建立了党组织。在黎玉和省委的指示下，这些地区的党组织积极开展发动组织抗日武装起义的工作，建立了“各界抗敌后援会”、“民众抗日动员委员会”、“抗日自卫团”、“抗战剧团”等群众性的抗日组织。
为领导徂徕山起义，黎玉决定将省委机关从济南搬到泰安。从10月中旬起，中共山东省委机关和省“民先”队陆续从济南移到泰安城，先后在泰安三中、文庙和夏辅仁家办公，加紧进行武装起义的准备工作。
10月22日，黎玉在泰安文庙召开由省委机关干部、泰安县委负责人和中共中央派来的红军干部参加的会议，研究部署全省分区发动武装起义的策略和计划。黎玉在会上分析了山东形势。他说，山东地处华北的东翼，包括半岛和内陆两部分：半岛突出于渤海、黄海之间，有众多的港口、要塞，与辽东半岛隔海相望，历来是华北的海上门户；内陆依次与冀、豫、皖、苏四省接壤，地扼华东交通要冲，境内津浦铁路、京杭运河贯穿南北，胶济铁路、黄河横亘东西，公路交通也很发达，在军事上具有重要的战略地位。山东地域辽阔，地形复杂，有泰、鲁、沂、蒙等众多山区丘陵和广袤的平原，星罗棋布的湖泊，具备开展游击战争的良好条件。山东物产丰富，人口众多，且民风强悍，富有光荣的革命传统和不屈不挠的斗争精神。这一切为抗日斗争提供了理想的地理条件、军需物资和兵源。特别是日军侵华的暴行，激起了山东人民的强烈义愤，都愿意拿起枪杆子，驱逐日本帝国主义，拯救中华。黎玉强调，最重要的是有中共中央正确的抗战路线、方针的指导。他说，经过各级党组织的宣传、组织，山东已经具备了发动抗日武装起义的一切必要条件，整个山东大地布满了干柴，一经点燃，便会熊熊燃烧起来。
黎玉还就发动起义的时机作了具体说明。他说，发动起义的时机，应选择在国民党、韩复榘部队开始撤退或已溃散，而日本侵略军未到或已到达但立足未稳之际。过早，则可能遭到韩复榘军队或地方保安队的镇压；过迟，则可能丧失时机，被蜂起的地方反动势力或土匪势力挤掉。会后，黎玉派韩明柱去寿光；刘居英、程绪润去莱芜；赵杰、程照轩去徂徕山前的泰安六区山阳村一带；孙汉卿去新泰，分头发展党组织、发动群众、筹集枪支、建立抗日武装，为抗日武装起义做准备。不久，泰安山阳、封家庄、楼德、东良庄等地都秘密建立起了以共产党员为骨干的小规模抗日武装。
为加强领导，黎玉还陆续整顿了各县的党组织。黎玉派夏辅仁任泰安县委书记，派秦化龙任莱芜县委书记，董琰任新成立的新泰县工委书记。
（四）红旗插上徂徕山
11月16日，日军沿津浦路进犯到黄河北岸，逼近济南。韩复榘见势不妙，弃城南逃。12月27日，济南沦陷。
12月24日，黎玉率山东省委机关由泰安城转移到城南篦子店，在马馥塘、于一川创办的“社会教育试验区”办公。27日，在黎玉的主持下，中共山东省委在篦子店召开紧急行动会议，研究讨论起义的时间、起义部队的番号、起义部队的领导人、起义誓师大会议程以及起义后部队的军政工作和行动方向等具体问题。会上，黎玉根据形势的急剧变化，研究确定了徂徕山武装起义的具体部署，决定在日军占领泰安城时举行徂徕山武装起义。会后，黎玉让精通篆刻的武中奇用一块砚台刻了“八路军山东抗日游击第四支队之关防”的大印。韩豁、赵新、杨纯等几位女同志还制作了一面绣有镰刀、斧头，中间有“游击”二字的红色大旗。
紧接着，黎玉又在泰安城南的夏村召开发动抗日武装起义的工作会议。会议决定派张北华、远静沧到泰西地区活动，组织发动泰西武装起义，以策应徂徕山武装起义。
30日，省委机关撤离篦子店。林浩、洪涛带领省委机关部分干部、平津流亡学生、民先队员、泰安县委及泰安县抗敌自卫团、妇女救国会部分成员，奔赴徂徕山。黎玉、景晓村则带领另一部分干部到山阳村和赵杰等人组织的抗日武装会合。31日，黎玉、景晓村和赵杰率领队伍赶到徂徕山。当晚，得知日军占领泰安城的消息后，黎玉决定在第二天举行徂徕山抗日武装起义。
1938年1月1日，当朝霞映红了徂徕山的时候，一面绣有镰刀斧头和“游击”二字的红旗在山顶高高飘扬。在凛冽的寒风中，参加起义的共产党员、平津流亡学生、济南同学会的会员、泰安抗敌自卫团的团员、泰安封家村农民组织的自卫团团员，共100多人齐集在山顶的大寺，举行庄严的起义誓师大会。在孙陶林的主持下，大家高举着几支陈旧的步枪和大刀、梭镖，庄严宣誓：坚决接受中国共产党的领导，坚决执行中国共产党的政策，抗战到底！宣誓之后，在一阵阵热烈的掌声和欢呼声中，黎玉代表中共山东省委庄严宣布：“八路军山东人民抗日游击第四支队”正式成立！洪涛任司令员，黎玉任政治委员，赵杰任副司令员，林浩任政治部主任，马馥塘任经理部主任。接着，黎玉阐述了抗日游击战争的重大意义，宣讲了人民军队的性质、宗旨和纪律。黎玉指出，抗日游击队必须置于党的领导之下，严格执行八路军的“三大纪律、八项注意”。最后，黎玉大声宣布：山东省委领导的徂徕山起义胜利成功。
誓师大会后，黎玉和洪涛对起义部队进行编队。四支队暂编成两个中队和1个宣传队。省委机关、泰安县委和抗敌自卫团、青年学生编为第一中队，由李怀英任中队长，鲁宝琪任指导员；由赵杰等人在泰安六区组织起来的队伍编为第二中队，由封振武任中队长，程照轩任指导员。黎玉还把参加起义的杨纯等10名女战士编成宣传队，由孙陶林负责。
誓师大会后，孙汉卿、刘少傥等发动的新泰各地抗日武装50余人陆续来到徂徕山，黎玉将他们编入第一中队。1月4日，刘居英等带领莱芜的抗日武装60余人，也来到徂徕山，被编为第三中队，由程绪润任中队长，刘居英任指导员。之后，泰安、新泰、莱芜、宁阳等地不断有人来徂徕山，参加起义部队，原国民党谷良民部的5名士兵也携枪投奔抗日队伍。仅仅几天，起义队伍就扩大到400多人。
