张归霸,字正臣,清河人。祖父张进言任阳谷县令。父亲张实,也做过官。归霸小时潇洒不拘,爱好兵术。唐朝干符年间,盗寇蜂起,张归霸领着兄弟三人弃家投奔黄巢,很因勇敢机智闻名。黄巢攻陷长安,即授他以左番功臣名号。中和年间,黄巢领着党徒奔到宛丘,当时太祖在汴州,奉诏南征,黄巢势力日益窘迫,张归霸兄弟与葛从周、李谠等人一起来投降朝廷,WwW.7gushi.com不久补任宣武军要职。
光启二年(886),张归霸与蔡州贼寇张存在卢氏交战。三年夏天,又与蔡贼将领卢瑭在双丘作战,又与秦宗贤在万胜作战,都打败并歼灭了他们。后来,秦宗权派将领张日至前来寇犯,在赤岗扎营。一天,各自派出骑兵将领以决胜负,张归霸被飞矢射中,他立即拔出箭矢,回马弯弓一射,贼人被射穿颈子坠下马来,张归霸于是缴获贼人战马而回,太祖当时在高丘上朝下观战,看见全部情况,当面加以奖赏鼓励,用金钱布帛以及他俘获的战马赐给他。张归霸又曾经受命带领弓箭手五百人埋伏在战壕里,太祖带着数百骑兵慢慢逼近敌军营寨,蔡州贼寇果然派出精锐士兵开门出城前来追击,张归霸发起伏兵,掩杀千余人,夺得战马几十匹,不久上奏朝廷授与检校左散骑常侍。后来跟随太祖攻伐郓州,辅助李唐宾渡过淮河,都立有大功。
文德初年,大军逼近蔡州,贼将萧颢前来攻营,张归霸与徐怀玉各领部下士兵从东南两门分别出击,合并势力杀贼,蔡州贼人大败。到太祖整顿部队出营时,战争已经结束,太祖召来张归霸,赞赏他说“:以前耿不等光武帝下令就出击张步,说不能将贼寇留给君王,立下耿这样的功劳,你是第二个。”大顺年间,郭绍宾占领曹州后,张归霸领兵数千守卫曹州。接着朱瑾带领大军来到,张归霸与丁会在金乡迎战朱瑾,朱瑾大败,擒获贼将宗江等七十多人,曹州得以安宁。第二年,攻下濮州,活捉刺史邵儒。又辅助葛从周与晋军在洹水作战,活捉了李克用的爱子落落。又与燕人在内黄交战,杀死刘仁恭士兵三万多人。战绩超群,居于众将之上,接连升官至检校左仆射。
光化二年(899),代理主持邢州事务。第二年春天,李嗣昭率领蕃族、汉族五万士兵来寇犯,张归霸坚守城墙做好准备,晋军不敢冒犯邢州城,于是调转军队进攻氵名州,氵名州陷落。当时太祖在滑州,很担心邢州失守。到葛从周收复氵名州时,李嗣昭向北逃走,张归霸出兵追击他,杀死二万多人。捷报传来,赏赐非凡,立即因功上奏加封为检校司空。天初年,迁任莱州刺史,任满后授与左卫上将军,又任曹州刺史。那年秋天,加封检校司徒,辅助刘知俊抵御州、凤翔的敌寇,打败了他们。太祖受禅让后,拜为右龙虎统军,改任左骁卫上将军,兼任河阳各军都指挥使。第二年夏天六月,任河阳节度使、检校太保,接着加封为同平章事。同年秋天七月,死在任上。诏令追赠为太傅。