當時曹操在兗州，聽到呂虔有膽識、策略，任他為從事，率家兵守湖陸。襄陵校尉杜松部將炅母等作亂，與昌豨互通。曹操便任呂虔替代杜松。呂虔到地上任，誘炅母等各首領及數十惡人賜與酒食；另一方面，挑選壯士在側邊埋伏。呂虔看到炅母等都醉了，便命伏兵將他們全部殺死，安撫其餘群眾，平定亂事。曹操遂任呂虔領泰山太守。
當時郡中連接山海，因世局動盪，許多百姓都紛紛躲藏。而北方群雄袁紹所置的中郎將郭祖、公孫犢等數十人又佔山為寇，百姓深受其苦。呂虔率家兵到郡，廣開恩信，郭祖等黨羽都降服，在山中躲藏的人都下山，安置土業。呂虔挑選當中一些強人補為兵士，於是泰山以精兵聞名，為各州郡之首。
後濟南黃巾軍徐和等人劫持城中長吏，攻打城邑。呂虔帶兵與夏侯淵會合，一同擊討，前後經過數十戰，斬首、生擒數千人。曹操便派他督青州各郡兵士討伐東萊李條等多個賊軍，數戰有功。 曹操下令道：「夫有其志，必成其事，蓋烈士之所徇也。卿在郡以來，禽姦討暴，百姓獲安，躬蹈矢石，所征輒克。昔寇恂立名於汝、潁，耿弇建策於青、兗，古今一也。（有志向，必定能成就其事，乃是烈士所遵從的。一直以來你在郡中，擒獲奸人、討伐暴民，百姓得到安定，親赴戰場作戰，每次征戰都捷克。當年寇恂在汝、潁一帶立下名聲，耿弇在青、兗一帶建下功績，從古至今都出現一人。）」便被舉為茂才，加任騎都尉，繼續管理各郡。
呂虔在泰山十多年，甚有威望、恩惠。曹操死，曹丕繼王位，加呂虔裨將軍，封益壽亭侯，後再遷為徐州刺史，加威虜將軍。其中征辟之前荆州刺史王叡的侄子王祥為別駕，民生、政事都委託他，當世賢能多是他所任免。呂虔有一把佩刀，刀工說這把刀一定是能登三公之位的人才能擁有。呂虔將这把刀送給了王祥。琅琊王氏将此刀世代传承。[1] 後討利城郡的唐咨叛軍[2]，斬獲有功。曹叡即位，徙封萬年亭侯，增邑二百，加上之前有六百戶，而後病逝。
呂虔管理地方甚有成績，以恩威並施治理，所以有多次討賊、安民的功勞。
- 呂翻，呂虔子，承繼父亲家業。
- 子呂桂，父死後承繼家業。
《新唐书·宰相世系表》称吕虔为齐康公之后，其孙吕行钧以下世居河东。吕行钧与吕桂是否一人，待考。
- 唐代文学家李翰在收集古今的典故而编纂《蒙求》时，特意收录了“吕虔佩刀”的这一典故。[3][4]
- 陳壽《三國志》评曰：「李通、臧霸、文聘、呂虔鎮衛州郡，並著威惠。」；「虔在泰山十数年，甚有威惠。」；「虔有胆策。」（《三国志·卷十八·魏书十八·二李臧文吕许典二庞阎列传》）
- 曹操下令道：「夫有其志，必成其事，蓋烈士之所徇也。卿在郡以來，禽姦討暴，百姓獲安，躬蹈矢石，所征輒克。昔寇恂立名於汝、潁，耿弇建策於青、兗，古今一也。」
- 许浑：「琴清诗思劳，更欲学龙韬。王粲暂停笔，吕虔初佩刀。」（《送楼烦李别驾》）
- 卢弼：「文聘在江夏数十年；杜畿在河东十，在并州、冀州二十余年；吕虔在泰山十数年。皆久于其任，当时信任郡守、刺史如此。」
- 《三国演义》中，吕虔最初被刘晔推荐，在兖州被曹操聘为军中从事，后又任校尉、中军护卫等职，讨伐吕布时射死吕布部将薛兰，征讨刘备时与李典等人同为先锋，赤壁之战时掌管水军后军，屡随曹操征战多有战功。
《三國志‧魏書‧呂虔傳》
- ^ 《晉書·王覽傳》：「初，呂虔有佩刀，工相之，以為必登三公，可服此刀。虔謂祥曰：『苟非其人，刀或為害。卿有公輔之量，故以相與。』祥固辭，強之乃受。祥臨薨，以刀授覽，曰：「汝後必興，足稱此刀。」覽後奕世多賢才，興於江左矣。」
- ^ 據《三國志·魏文帝紀》記載，時間是黃初六年（225年）；另見《諸葛誕傳》。
- ^ 《晋书·卷三十三·列传第三》：初，吕虔有佩刀，工相之，以为必登三公，可服此刀。虔谓祥曰：“苟非其人，刀或为害。卿有公辅之量，故以相与。”祥固辞，强之乃受。祥临薨，以刀授览，曰：“汝后必兴，足称此刀。”览后奕世多贤才，兴于江左矣。
- ^ 《晋书·列传第三十五》：提挈三世，终始一心，称为“仲父”，盖其宜矣。恬珣踵德，副吕虔之赠刀......贻刀表祥，巫水流庆。赫矣门族，重光斯盛。
