武帝の皇后の衛子夫の甥にあたる名将霍去病の異母弟という縁で出仕し、武帝の信任が厚く霍去病の死後も順調に出世した。後元2年（紀元前87年）に武帝が亡くなるとき、まだ8歳の幼い皇帝昭帝の補佐が出来る人物は霍光以外に居ないと思い、霍光を大司馬大将軍に任じて金日磾・上官桀と共にこれを補佐させた。
しかし、のちに霍光と上官桀は対立するようになった。上官桀は、昭帝の兄であるのに帝位につけなかったことを恨みに思っていた燕王劉旦や、霍光と財政政策などで対立していた桑弘羊らと謀を巡らせて、昭帝に霍光を廃することを讒言したが、昭帝は取り合わなかった。そのため兵を伏せ、霍光を討ち昭帝を廃する企てを起こしたが、事は露見、燕王劉旦は自殺し、上官桀らは誅殺された。上官桀の一族で生き残ったのは皇后上官氏（母が霍光の娘）のみであった。
昭帝が成人してからも霍光への信任は厚く、治世13年の間すべて政治を霍光に取り仕切らせた。
元平元年（紀元前74年）、子のないまま昭帝が亡くなると、霍光は武帝の孫で昭帝の甥にあたる昌邑王劉賀を帝位につけた。しかし行いが酷いとしてわずか27日で廃し、代わりに武帝の曾孫の劉病已（宣帝）が帝位についた。霍光は引き続き大司馬大将軍として漢の政治を一任されていたが、地節2年（紀元前68年）に亡くなった。
武帝亡き後の漢の政治を速やかにまとめた霍光の功績は大であったが、彼自身はひたすら身を慎み、僭越な振る舞いや専横を避け、徒に目だって身を滅ぼすことはなかった。しかし一族は霍光の威勢を恃んで傲慢であり、宣帝の皇后の許平君を毒殺して代わりに一族の娘を皇后に立てるなど、暴慢な振る舞いが目立った。彼らは霍光ほどの人望も無かったことから、霍光亡きあとは宣帝に実権を奪われた上、最後には謀反を計画したため、宣帝の勅命により子の霍禹は腰斬に処され、その生母や姉妹など一族皆殺しに処された（上官皇后はこのときも無事に済んだ）。
霍光によって擁立された宣帝は、即位当初に霍光に政権を委ねる旨の詔を発したが、その際に用いられた文言「関（あずかり）り白（もう）す」が、日本の実質上の宰相であった関白の名の由来とされる[1]。また、関白の異名として「博陸」とも称するが、これは霍光が博陸侯であったことに由来している[2]。
初代関白である藤原基経は、陽成天皇を廃して皇族の長老の光孝天皇を擁立した。『神皇正統記』ではこの行動を昌邑王劉賀を廃して宣帝を迎えた霍光のそれに擬えて、讃えている。
