张伯祥是山东莱芜人,1938年参加八路军,同年加入中国共产党。岸堤干校一期学员。抗日战争时期,他历任秘书、教导队队长兼指导员、副科长、科长等职,参加了沂水长仙桥战斗、滨海甲子山三次战役和滨海朱都战斗,参加开创皖北、临沂、赣榆根据地等作战行动。解放战争时期,他历任滨海军区组织部部长、分区政治部副主任、胶东军区组织部部长、军分区副政委等职,参加和指挥了赣榆、沙河、青岛等战役战斗。新中国成立后,他历任旅副政委、山东军区组织部部长,总政治部干部部一般兵种任免处处长、总干部部特种兵干部任免部副部长、总政治部干部部副部长、组织部部长和中央军委纪律检查委员会副书记等职,为部队革命化、正规化、现代化建设作出了贡献。担任中央军委纪律检查委员会常务副书记期间,他组织制定下发了严肃党的政治纪律的一系列制度规定,为军队党风廉政建设做出了贡献。张伯祥是中共第十二届中央候补委员、十三届中央纪律检查委员会委员。他1955年被授予大校军衔,1964年晋升为少将军衔,1988年被授予中将军衔,曾荣获二级独立自由勋章、二级解放勋章和独立功勋荣誉章。