1924年，李玉堂经邓天一、李郁亭等人推荐，辞别故乡，与李延年、项传远、李殿春等同乡一起奔赴当时的大革命中心广州，考入黄埔军官学校第一期学习，并加入中国国民党。同年11月毕业后分配到教导团任排长，后被分配到国民革命军陆军第一师第二团任见习军官，1925年2月参加第一次东征，因英勇善战，不久升任连长。6月随军回广州平定杨（希闵）刘（震寰）之乱，10月参加第二次东征，攻惠州时任敢死队队长，血战数日击败顽敌，升任营长。1926年7月，在国民革命军北伐攻克南昌战役中立功。在第二次东征作战中，李玉堂屡立战功，被提升为陆军第三师八团团长。1927年初，北洋军阀五省联军在孙传芳指挥下，抢占军事要地龙潭重镇。革命军围困龙潭后，几攻不下。李玉堂率团进入龙潭战斗，将对方军队全部摧垮。战斗结束，李玉堂被特别记功授奖，并荣获孙中山“智仁勇”银盾一方。
民国17年（1928年），李玉堂部攻下蚌埠，晋升为第三师第八旅少将旅长，驻军徐州。1930年，国民党新军阀之间爆发了蒋（介石）、冯（玉祥）、阎（锡山）中原大战。李玉堂奉命开赴河南前线作战。1931年，驻军陕西临潼。1932年升任国民党第三师师长。
1937年抗日战争全面爆发，李玉堂率师参加了“八一三”淞沪抗战，不久其第三师扩编为第八军，李玉堂担任军长，后改番号为第十军，仍任军长。1938年5月，随李延年的第2军，参加徐州会战，担任阻击由淮北向北进犯的日军。1938年7月，李玉堂奉命防守江西九江姑塘至硖矶沿湖岸之线，配合武汉会战。8月1日，李玉堂率部参加南浔铁路作战。在金官桥阵地，击毙2名日军大队长，几乎全歼日军第106师团145联队。在大天山、金家山等地，与第64军协同作战，将敌军遏止在修水河北岸，粉碎了日军攻取德安的阴谋，有力地配合了万家岭战役的进行。战后，李玉堂被蒋介石授予“华胄勋章”，并晋升为湘鄂赣边区游击副总指挥，兼第8军军长。
1939年3月，日军精锐第6师团由江西箬溪进犯武宁，企图夺取南昌。李玉堂率部在武宁棺材山阻击日军，死守阵地，屡挫日军锋芒，全军立功，国民党抗战总部授予李玉堂部“泰山军”称号。
“武汉会战”，李玉堂率部至长沙整补，自1939年10月至1942年1月，日军三次大举进犯长沙，均被李玉堂率军击退，取得了抗日战争中闻名中外的长沙三次大捷。战后，国民党抗战总部召开祝捷大会，特别嘉奖李玉堂，并授予青天白日勋章，任命李玉堂为第27集团军副总司令。
1943年11月，日军向湖南常德发起进攻。李玉堂指挥所部赶往常德黄土店、汉寿德山一带，负责常德南面解围攻势，将德山附近的围城日军击溃，为常德会战的最终胜利立下大功。1944年10月。李玉堂率部参加湘桂会战，担任迟滞敌军、掩护大军转移任务。战后，李玉堂升任第36集团军总司令；次年初，改任第27集团军总司令。4月，日军第20军发起湘西会战，李玉堂指挥部队负责坚守龙胜、城步、东安一线，阻击日军沿湘桂路及桂穗路北进，取得了重大胜利，粉碎了敌人进攻四川、威胁重庆的企图。1945年１月升任总司令，驻军广西。由于李玉堂抗日功劳卓著，1945年在国民党第六次全国代表大会上，当选为候补中央委员。
抗战胜利后，李玉堂奉调津浦线任徐兖地区绥靖司令，后改制为国民党第十绥靖区司令官，驻防兖州。1948年７月，中国人民解放军以绝对优势兵力围攻兖州，第十绥靖区全军覆灭。李玉堂仅率数十人化装潜逃，突围至徐州，后受命任山东绥靖总司令。1949年冬李玉堂奉派驻军海南岛，任国民党海南防卫副总司令、第一路军司令官兼三十二军军长。解放军对海南岛施行包围，并派地下工作联络员李刚到海南岛进行策反起义工作。李玉堂权衡再三，决定接受联络员李刚的意见，但必须经双方高级负责人出面协商。为慎重起见，李玉堂暂请李刚留下为近身上尉副官，并亲笔写密信派专人从水上到香港，找到其妻陈伯兰，内兄陈石清将此信转给原司令部驻广州办事处长李云涛，命其亲自把信交给解放军驻广州最高统帅叶剑英。信转到叶剑英手中后，叶帅亲自批示：“李玉堂火速起义。起义后可委以海南岛军政委员会副主任之职。”李云涛拿到批示密文后，由于陆上无法通行，即赶往香港，在乘轮船起航时，忽然传来海南岛解放、守军未做抵抗全部缴枪投降、司令官李玉堂只带副官亲信及卫士10余人乘快艇逃往台湾的消息。李云涛闻悉情况突变，急回广州交回叶帅手令。我党又派联络员与李云涛去香港同陈伯兰及陈石清会晤，联络员转达叶帅机密手令并嘱李玉堂夫人陈伯兰：“此去谨慎从事，待机行动”。陈氏兄妹接受了任务，离港去台。
“两李二陈”（即李玉堂、李刚、陈伯兰、陈石清）到台不久，副官李刚被台湾国民党特务怀疑并监视，后被逮捕。李刚终因受刑不过，将李玉堂起义未遂之事供认。李玉堂及其妻陈伯兰以及妻兄陈石清被秘密逮捕。
1951年２月５日，李玉堂在台北碧潭被蒋介石杀害，同时被杀害的还有其妻陈伯兰、其妻兄陈石清和共产党的地下联络员李刚。
李玉堂被杀害数年后，经有关单位深入调查落实，李玉堂确实给叶剑英写过信。1983年经山东省人民政府报请国务院批准，追认李玉堂为革命烈士。
