1922年、張学良の東北軍に衛兵として参加したのち、東北陸軍講武堂に入堂し教育を受け、卒業後、張学良に呼ばれて身辺にて少佐副官として仕える。1937年10月、冀中(河北省中部)で部下を率いて国民革命軍の53軍(呂は、中佐として53軍691連隊長)を離れて、八路軍第3縦隊司令員兼冀中軍区司令員となる。それ以後、下記の役職を歴任する。
中華人民共和国建国後は鉄道部副部長、同部長代理、同部長、鉄道兵司令員、政治委員を歴任した。
第1、2、3期国防委員会委員、第4期全国人民代表大会常務委員会委員、中国人民政治協商会議全国委員会第2、3期常務委員、第6期全国政治協商会議副主席、中国共産党第7期中央委員候補、第8、11期中央委員。中国共産党第12次全国代表大会において中央顧問委員会委員に選出された。
1991年には張学良とアメリカで再会した。2009年死去。104歳だった。張は、建国後、人民解放軍へ階級制度が導入された際に上将に任命されたいわゆる開国上将のうちの一人であり、またその最後の一人でもあった。没時100歳を超えていた開国上将としては、他に蕭克(2008年没)がいる。