我二纵第三次打击国民党顽军后，在冀鲁豫边区休整。此时，革命形势又发生了一些新的变化，国民党反动派在豫皖苏地区掀起第一次反共高潮，与我八路军、新四军作对，经常发生磨擦，影响和威胁我抗日根据地的建设。
为了配合长江北岸新四军反“扫荡”、反磨擦的斗争，扩大皖东北、淮河流域北部地区和淮海根据地，沟通我华北和华中地区的战略联系，中央军委决定令黄克诚同志任司令兼政委，率二纵三四四旅、新二旅，分两个梯队南下华中支援新四军。第一梯队由刘震、康志强率领，由三四四旅六八七团、六八九团和新二旅六团组成；第二梯队由黄克诚、韩振纪率领，由三四四旅六八八团和新二旅五团组成。我此时仍是新二旅六团团长，归刘震、康志强指挥。
我们由鲁西南的菏泽、东明出发，经成武、单县，南过陇海铁路，进入豫皖苏地区。我所率六团进至豫皖边永城县（河南境）瓦子口时，日、伪军600余人乘汽车追来，向我部发起攻击。我立刻依托村外地形，沿村边构筑工事，展开部队阻击敌军。
敌凭借优势火力，多次向我发起冲锋，都被我部击退。这时，我部已是很有战斗经验的老部队了，根本不在乎这几百鬼子和伪军。从上午10时许打到黄昏，敌人没占到任何便宜，只好被迫撤退。
我见敌阵脚乱了，立刻组织部队追击敌军。结果，原来气势汹汹追击我部的日伪军，反而被我部打死三十几人，伤了百十来人。我缴获机枪3挺、步枪30余支、炮弹30余发、子弹十几箱。
战后第三天，新四军第六支队司令员彭雪枫和张震参谋长、肖望东主任接见了我们团领导，并部署了任务，令我团到皖北毫县地区开展工作。此后，我即率六团开抵豫、皖边境马头寺、会亭一带活动，与国民党何柱国的骑二军相邻。何系东北军，过去和我军曾有过统战关系，未为难我军。但何不让我部西进，只准我部在马头、会亭地区活动，这显然不是个久留之地。
恰好就在此时，黄克诚同志率南下第二梯队两个团过来了。我团归新二旅建制，东越津浦路，进入皖东北泗县一带活动。
同年7月下旬，为加强皖东北抗日力量，中央军委又令黄克诚所率南下二纵所辖六八七团和新二旅与新四军六支队四总队、苏鲁豫支队、韦国清所率南进支队合编为八路军第五纵队，执行东进任务，挺进淮海地区。
八路军新编第五纵队司令员兼政委黄克诚，参谋长韩振纪。下辖一、二、三支队。原二纵新二旅变为新五纵第二支队，田守尧任司令员，吴信泉任政委。下辖四、五、六等3个团，我仍在六团任团长。
同年8月初，我们五纵过运河进入淮海、苏北地区。这时，我党原中原局和东南局合并为华中局，统归刘少奇同志领导。我们到达此地后，华中局即令苏皖边区党的负责人刘瑞龙同志到部队介绍当地情况。我五纵首长考虑到淮海、苏北的重要战略地位，即令二旅副旅长常玉清同志率我六团留在皖东北地区坚持斗争，明确要求我们守住皖东北根据地；保护好我党、政机关；建立保安司令部；发展地方武装，打击日、伪、顽匪；防卫铁路沿线的交通联系，护送来往干部等。
为了确保这一地区安全，苏皖边区党的负责人刘瑞龙同志亲自来洪泽湖之北成子湖以西的界头集召开会议布置任务，并进一步明确我团归刘少奇同志指挥（当时少奇同志化名胡服），把和少奇同志联系的电台密码本给了我。随后，这里建立了皖东北地委、专署和保安司令部，常玉清同志兼任保安司令员，我兼参谋长，统一指挥六团和各地方武装力量，保卫以江苏泗洪为中心的泗县、盱眙、凤阳、嘉山、五河、灵璧等皖苏边境5县16区。
我五纵主力东进淮海后，皖东北苏皖边界周围之日、伪、顽军，乘机向我根据地渗透，妄图逐步“蚕食”我根据地。皖东北地委为了加强对这一地区的对敌斗争领导，令我六团统一指挥这一地区武装力量，以保安司令部名义召开各地武装领导干部会议，统一布置兵力，反击敌军，保卫根据地。
会后，活动于天井湖泗、五、灵、凤地区的沱河大队负责接送过路干部；淮河以南盱、凤、嘉地区的独立营，负责维护淮河交通运输；淮泗地区的湖东大队，负责淮海区域各地干部往来的联系和护卫；盱眙外双沟至管镇一带区武装和六团侦察排，主要负责监视盱眙伪军行动。
我率六团在这里驻了大半年，组织指挥部队和地方武装力量，与日、伪、顽军打了几十仗。
1940年初冬，日寇一部“扫荡”青阳镇东北的五龙背、新行圩、朱湖和金锁地区。我用一个营掩护党、政机关转移到洪泽湖东岸，集中两个营在五龙背、朱湖、新行圩阻敌。激战一天，毙伤日、伪军百余人。
1940年隆冬，我团与敌频繁交战。
我部于泗县至青阳镇之间的马公店反敌“蚕食”我根据地，歼敌50余名；盘踞洪泽湖之股匪，袭击我成子湖东北破草围子一带，切断我根据地东西交通线。我以一营击敌，歼敌50余名，并乘胜奔袭成子湖北，歼熊围子顽匪百余人，俘敌团长熊英以下70余人，恢复了我根据地东西线；淮阴、泗阳边境反动会道门——红枪会暴乱，我部一举平息；侵占大张集、大柏围子的伪军，企图“蚕食”我根据地，我团主力西进，对其发起凌厉攻势，歼敌200余人，缴获轻机枪3挺，步枪60余支，粉碎了敌人的“蚕食”计划；坚持本地反“扫荡”斗争，在靠敌陇海路据点很近的泗阳、宿迁两县境内，与敌人搞拉锯战，敌人白天来“扫荡”我们，我们晚上去袭击敌人，仅在张集一地，我们就反复袭击了敌军3次，最后终于把这里的敌人赶了出去。在这一地区总共歼敌400余人，缴获机枪6挺，步枪300余支，骡马30余匹。
这大半年里，规模最大的一次战斗，是保卫青阳镇。
青阳镇是皖东北根据地苏北境内的一个大镇（今泗洪县），南北西三面临濉河，北河两岸有土堤夹峙，东隔一道泥沟与陆地相结。全镇实际上是建在濉河在此分岔冲积形成的孤岛上的。
青阳镇是皖东北根据地政治、经济、文化中心，是濉河下游的重要水陆码头重要商埠，特别是海盐的重要集
地之一。这里商业发达，物资丰富，人口逾千户，是我根据地筹集财政物资的重要资源地，长期让敌人垂涎欲得。因此，保卫好这个镇，是我六团极其重要的中心任务。
那时的地方政府机关，不像现在有固定的地方，皖东北根据地此时尚不十分巩固，经常和敌人搞拉锯战，地委、专署为自身安全起见，不长住一个地方，只以青阳镇为中心，在镇东北、正东方向朱湖至半城、镇南方向双沟至管镇、镇西方至马公店以东一带流动，有时，也进青阳镇小憩。为保地方党政机关安全，我团常派一个营跟随其附近活动，并配有几名便衣侦察员，始终紧随其队，随时向团部报告其行动方向、地点，以防不测。
1940年冬的一天傍晚，我侦察员忽然来报：皖东北专署机关带一个地方警卫连，由魏营向北转移，入青阳镇住宿。
这时，我正率二营和警卫连两个排在镇西南30里外上塘集附近活动。此前，我已风闻敌军要外出活动，接到侦察员报告后，我担心专署机关进镇有危险，急忙率兵北返青阳，于当晚10时许进镇布置兵力防敌。
我将—个连布置在东郊祠堂；一个连布置在镇东郊土堤下；—个排布置在镇北河沿及桥头；一个排布置在南渡口；一个排布置在镇西端东头。各部进入战斗位置后，迅速修好工事守卫。我自己带警卫连两个排于镇中作机动，策应各部。同时，请专员公署秘书长孟东波同志指挥专署警卫连防守镇东南角要道。
我们进镇两小时后，敌军赶到，迅速包围了青阳镇。战后查实，这次敌获悉汉奸密报我专署机关干部进青阳镇住宿的消息后，纠集了睢宁、灵璧和泗县等地日、伪军700余人，妄图偷袭我专署机关，完全是有备而来的。
敌军赶到后，亦立刻展开部队围镇，可他们万万没想到我们已先作好了准备。
次日拂晓，青阳镇四周突然吠声四起，我断定有情况，立刻下令各分队进入战斗位置。
果然不出所料，部队刚进入阵地，我哨兵即发现敌人摸进来了。敌人渐渐靠近，我军前沿阵地突然开枪，敌军失算，一排排地倒了下去。
镇外枪声大作，镇内专署机关干部全部惊醒跑了出来，欲突围。我赶紧告诉他们，敌人有备而来，肯定有重兵在外包围，现在突围肯定伤亡大，不是良策，只能坚守待援，不宜突围。地方同志见有主力部队阻击敌人，方安下心来，和我们一道阻敌。
上午8时许，日军从祠堂东、北两个方向，向镇内发起进攻，我守祠堂的连队一阵猛烈射击，很快将日军击退。
这时，已大天亮了，我见祠堂离镇中心还有一段距离，不宜坚守，便及时将这个连队后撤至镇东土围墙后阻敌。这样，土墙成了我军的一道有力屏障，随后日军连发起几次冲锋，都被我军击退了。打了一上午，敌人仍攻不进镇。
日军屡攻屡败，重新调整力量后，变更攻击方向，转向冲击我东北河堤。这次，敌人又倒霉了，我早在那儿埋伏了部队。敌人哇哇乱叫着涌向桥头时，我伏击部队一阵猛打后，冲进敌阵拼刺刀，一阵猛捅，把敌人压向一排茅屋内，不敢出来，只好困守待援。
午后3时许，敌军见祠堂口和东北河堤均攻不下，又调头向镇北桥头和北堤进攻，北桥头一时显得有些吃紧。我见北桥头火力不足，担心不能坚持，急令两个机动排用苇草伪装两条木船，由北河南岸放向北岸，突然偷渡濉河，扑上岸去猛攻北岸桥头和北岸泥堤西段，一下子就歼灭敌军50余人，缴获战马30余匹，牢牢守住了整个北堤。
守住北堤后，我急抽出部队增援东北角，组织交叉火力，射击日、伪军冲击部队，敌军始终无法靠前。镇中居民见我新四军连连获胜，纷纷跑到河边向我军欢呼致意，我军倍受鼓舞，打得更加勇敢。
日、伪军猛攻青阳，打了一天没进展，不甘心失败。黄昏时，在重火力掩护下，日军竟单独组织一队精兵往东门冲，进到街口外一道缓坡巷道里。
我见情况危急，急令部队从房上扔下稻草、泼下煤油，轰地一声点燃，把涌进街口巷道的鬼子全烧死了。
敌人惨遭失败后，再不敢进攻，天黑尽后，慌忙流过镇南河，向西溃逃。行至马公店东，又被我早埋伏在那里的侦察排伏击，再遭射杀，逃回睢宁、泗县、灵壁，早已溃不成军。
青阳保卫战，是我军在皖东北根据地的一次抗战重大胜利，这次战斗主要是打日军，毙敌100余人，缴获各种枪支40余支、子弹3万多发，影响很大。
青阳保卫战不久，国民党顽固派发动“皖南事变”，重兵偷袭我新四军北上主力，导致我新四军遭受重大损失。军长叶挺被扣，政委项英遇害。蒋介石下令取消新四军番号。
1941年1月20日，中央军委针对蒋介石的反动命令，下令我新四军在江苏盐城重建新四军军部，任命陈毅为代理军长，刘少奇为政委，张云逸为副军长，赖传珠为参谋长，邓子恢为政治部主任。所属部队整编为7个师和一个独立旅。一师师长粟裕、政委刘炎；二师师长张云逸（兼）、政委郑位三；三师师长兼政委黄克诚；四师师长兼政委彭雪枫；五师师长兼政委李先念；六师师长兼政委谭震林；七师师长张鼎丞（未到职）、政委曾希圣；独立旅旅长梁兴初。
我们南下五纵整编为第三师，辖七、八、九3个旅，原新二旅改为八旅，旅长田守尧，政委吴信泉，我任参谋长。
