黃霸原為淮陽郡陽夏縣人，其家因為犯了身為豪紳而役使鄉里人的罪刑，而被遷徒到雲陵縣，黃霸年少時學習法律條令，喜好做官，汉武帝末年他以待詔的身份捐錢被賞給官職，補缺擔任侍郎、谒者，之後因親兄弟犯罪而被彈劾免官。黃霸後來又捐獻穀物給沈黎郡，補缺擔任左馮翊手下俸祿二百石的卒史[1]。
左馮翊因為黃霸是捐獻財物而做官的，所以不委任他職位高的官職，讓他負責掌管郡中的錢糧收支統計工作。黃霸所造的記載錢糧收支統計情況的冊子，詳實清楚，不侵隱，不造假，以廉潔著稱，此後黃霸通過察举補缺擔任河東郡的均輸長，之後其再次通過察舉，因清廉被任命為河南郡太守丞。黃霸為人善於觀察且思維敏捷，熟習法律條文，個性又溫和、善良、謙讓，富於智慧，擅長統領眾人。他擔任太守丞時，討論與處理事情既符合法令條文，又合乎人心，所以太守特別信任他，官吏百姓們也愛戴尊敬他[1]。
自從漢武帝末年以來，用法嚴酷而苛重。汉昭帝即位後，因其年齡幼小，政事由大將軍霍光掌管，輔政大臣間爭權奪利，上官桀等人與燕王劉旦合謀判亂，霍光硃殺他們後，便遵照漢武帝時代的法令制度，用嚴厲的刑罰約束眾僚屬，因此一些粗俗的官吏們紛紛崇尚嚴刑峻法，認為這樣才是能幹，惟獨黃霸因採用寬和的治理而揚名[1][2]。
汉宣帝登基後，他在民間時便深知百姓們苦於吏治嚴苛，又聽說黃霸持法公平寬和，便徵召黃霸擔任廷尉正，黃霸多次判決疑難案件，廷尉官署內部都稱讚其判決公平，於是黃霸又代理丞相長史[1][2]。
在一次公卿參與的朝廷大會上議論政事時，黃霸明知長信少府夏侯胜批評皇帝的詔書是犯了大不敬言行之罪，卻偏袒附和，不檢舉彈劾夏侯勝，黃霸為此與夏侯勝一起被交給廷尉判罪，關押在監獄中並被判處死刑。黃霸於是在獄中跟著夏侯勝學習《尚書》。度過了兩個冬天，長達三年才出獄，夏侯勝出獄後，又當上了諫大夫，他讓左馮翊宋畸舉薦黃霸為賢良。夏侯勝自己又親口向漢宣帝推薦黃霸，漢宣帝遂提拔黃霸為揚州刺史[1][2]。
過了三年，漢宣帝頒詔說：「命令御史大夫：以賢良中的優秀者揚州刺史黃霸出任颍川郡太守，秩祿為比二千石，任職期間賜予他有篷蓋的車，特令高一丈，其下屬别驾和主簿乘坐的車，用橘紅色漆過的擋泥板放置在車廂軾木的前面，以此表彰他所具有的德性」。
當時漢宣帝正留意於天下的治理，多次下達對百姓施與恩惠的詔書，但許多官吏們卻沒有奉旨宣傳，使百姓知曉。太守黃霸則挑選了一些奉公守法、恪盡職守的官吏，讓他們分別去不同的地區宣傳、布告皇帝的詔令，讓百姓們都能知道皇上的恩惠之意。黃霸還讓郵亭、鄉官都飼養鸡和豬，用以贍養鰥寡貧窮的人。然後又制訂條例性的教令，設置父老、師帥和伍長等小吏，並將這些頒布施行於民間，勸勉百姓力行善事，謹防奸邪，以及致力於種田、植桑養蚕，節約費用，增加資材，種植樹木、飼養牲畜，禁除用穀物餵養馬匹。這些像米粒、鹽粒一樣細小繁雜的事情，開始時看似煩雜瑣碎，然而黃霸用自己的精神與精力卻能夠把它們推廣施行。接見官吏和百姓時，黃霸會在談話之間推求探索事情的癥結脈絡，再詢問其他隱蔽不為人知的情況，以供相互參考[1][2]。
黃霸某次曾想要秘密探查一件事情，於是挑選了一位年長且廉潔的官吏，派遣其前往，並叮囑他一定要保密。該名屬吏出發後，不敢在郵亭中食宿止歇，於是餓了便在道路旁吃飯，結果被乌鸦搶走他準備要吃的肉。有一名正好要到郡府稟報事情的百姓洽好看見此一場景，而黃霸在和他的談話中提到了這件事。三日後那名屬吏返回拜見黃霸，黃霸接見他時迎上前慰勞他，說：「你實在太辛苦了！在道路旁邊吃飯還被烏鴉搶走了肉。」屬吏大吃一驚，以為黃霸全盤了解他起居等各方面的情況，於是對黃霸詢問的事情不敢有絲毫的隱瞞。凡是有鰥寡孤獨的人死去而無法埋葬的，就讓鄉官署遞交書面報告，黃霸全數分別給予妥善處理，告訴下面的人什麼地方的大樹可以做棺材，哪個郵亭有小豬可以用來祭祀，屬吏前往一看，全部如其所言。黃霸對事情的強記和精明即是如此，官吏和百姓不知道他是藉由什麼辦法做到這一點的，都驚呼他是神明，於是違法盜竊之徒皆紛紛逃離，竄入其他郡國，穎川境內的盜賊一天天地減少[1]。
黃霸努力實行用德教感化官吏百姓，如果有不聽從的，才使用刑法誅罰，致力於成就與保護长史。許縣的县丞年邁，耳朵也聾了，督邮向黃霸稟報，打算罷除他的官職，黃霸說：「許縣縣丞是一位廉潔的官吏，雖然上了年紀，還是能夠跪拜起立送往迎來，只是稍微有點耳聾，又有何妨呢？還是好好地幫助他，不要讓賢德之人失望。」有人問黃霸這麼做的原因，黃霸回答說：「頻繁地更換長吏，歡送故吏迎接新吏的費用，以及一些邪惡巧詐的官吏趁著新舊接之際，銷毀登記錢糧物品等的薄籍文書而盜竊官府的財物，致使公私費用消耗太多，這些全都是出在老百姓的身上，況且所更換的新吏也未必賢德，有的甚至還不如他的前任，僅僅是變得更加混亂。大凡治理政事之道，只是除去那些嚴重不稱職的官吏而已」。黃霸因外表寬容內心精明而深得官吏與百姓的敬愛，穎川郡的戶口連年增長，治績為天下第一[1]。
於是朝廷徵召黃霸為代理京兆尹，秩祿二千石。後來黃霸因調遣百姓修繕專供皇帝馳行的馳道卻沒有事先稟報，另外又徵發騎士加入衛戍京師的北軍卻發生馬匹少於騎士的情況，黃霸為此被彈劾軍需徵調不足，連續被降低官吏的等級，減少俸祿。後來漢宣帝又下詔將其調回穎川郡任太守，雖然黃霸的俸祿被減至八百石，但其居官治政仍像以前一樣。前後又經過八年，穎川郡治理的更好了。這段時期，凤凰、神爵多次飛集一些郡國，其中穎川郡尤為多。漢宣帝認為黃霸的治績和品行終歸是最優秀的，便下詔讚揚他說：「穎川太守黃霸，宣傳布告詔令，百姓歸向教化，孝子、悌弟、貞婦、順孫日益眾多，耕田者謙讓田界，道路上路不拾遺，奉養照看鰥寡，供給救助貧窮，監獄裡已有八年沒有重罪囚犯，官吏與百姓仰慕教化，熱於幫助他人，黃霸真可謂是賢人君子啊。《尚書》中不是說過嗎？『股肱之臣非常賢良啊！』賜予黃霸關內侯爵位，黃金一百斤，秩祿為中二千石。」而穎川郡的那些孝悌、有善行義舉的百姓、三老、力田也都按照等級差別被賜予爵位和絹帛。幾個月後，朝廷徵召黃霸擔任太子太傅，又升調御史大夫[1][2]。
五鳳三年，黃霸接替邴吉為丞相，獲封建成侯，食邑六百戶。然而黃霸的才能主要善長於治理百姓，等到他做了丞相，需要總攬綱要法律、制度命令，其風采就不如邴吉、魏相和于定國等前後幾任丞相，其功績和名聲都不及治理穎川郡時。當時京兆尹張敞家中的鶡雀飛集到丞相府，黃霸誤以為是神雀，便商議要上奏給漢宣帝，張敞把這件事奏報給漢宣帝說[1][2]：
| “
|
臣私下看到丞相和召請來的中二千石官員、博士們一起，詢問各郡國來彙報情況的長吏，並讓他們把為百姓興吏除害，成就大規模道德教化的做法，列成條條進行彙報，凡是寫有讓農民謙讓田界，男女分開在不同道路上行走，路不拾遺，以及列舉出孝子、悌弟、貞婦姓名人數的，便列為第一等，讓他們首先登上丞相府的殿堂，有能列舉出以上各項，但是沒有具體姓名人數的為次一等，報告不出實行教化的具體條例者，在最後面叩頭謝罪。丞相嘴上不說，但其實心裡是想讓他們這麼做的。郡國的長史、守丞們報告時，恰好臣張敞家中有鶡雀飛到丞相府的屋子上，丞相以下看見的有數百人之多。來自邊疆地區的官吏大多知道鶡雀這種鳥，但丞相詢問他們時，卻都假裝不知道。丞相便計議著要上奏皇上說：『臣下正在聽取各郡國的長史、守丞有關施行教化的條例時，皇天感應降下神雀。』事後其得知鶡雀是從臣張敞的住所飛來的，才沒有上奏。那些郡國來彙報的上計吏們都暗笑丞相雖然仁義敦厚富於智慧謀略，卻有點相信稀奇古怪的事情[1][2]。
從前汲黯被任命為淮陽郡太守，辭行前去上任時，他對大行李息說：「御史大夫张汤心懷狡詐阿附皇上的旨意，以此禍亂朝廷，你若不及早稟奏皇上，就會與他一起遭受刑戮啊。」但李息懼怕張湯，一直沒敢告發他。後來張湯被誅戮，漢武帝聽說了汲黯對李息說的話，就把李息判罪，獎勵汲黯享受諸侯國國相的俸祿，以表彰汲黯想竭盡的一片忠心。臣張敞不敢詆毀丞相，實在是擔心群臣中沒有人稟報皇上，而郡國的長史、守丞又畏懼丞相的旨意，回去後廢棄朝廷的法律，各自實行私自訂定的教令，致力於互相攀比增加的教令條款，澆薄流散淳厚樸實的社會風氣，全都以虛偽的面貌行事，有名無實，傾斜搖擺，鬆懈怠慢，更為厲害的搞些怪異、邪惡的事情。假使下令京師地區首先實行地主讓界，男女分道而行，路不拾遣，其實對於人們的行為廉潔而不貪賄、貞潔而不淫蕩，是沒有實益的，反而以虛偽為天下第一，所以決不可行，即使讓諸侯國首先推行這些條例，虛偽的名聲則會勝過京師，這可不是小事情。我汉朝承繼秦朝的破敗，通達變革，開始制定法律條令，用來勸導行善禁止奸惡，條理貫通，詳細完備，不可再增加。應該讓顯貴的大臣明確告誡長史、守丞，讓他們回去後轉告郡國的二千石官員，在推舉三老、孝弟、力田、孝廉、廉吏時，所推舉之人務必要名符其實，郡國中的事情都要用漢朝統一的法令做為約束的標準，不能擅自制定教令，敢用欺詐和虛偽手段獵取名譽的人，一定要先行正法，以此來端正顯明朝廷喜歡什麼與厭惡什麼[1][2]。
|
”
|
漢宣帝讚許並採納了張敞的意見，召集各郡國來彙報的上計吏，按照張敞的意見讓侍中前去訓誡他們，黃霸為此感到十分慚愧[1][2]。
樂陵侯史高由於是外戚以及對漢宣帝有舊恩的緣故，在皇帝身邊擔任侍中，尊貴又被重用，黃霸推薦史高可以擔任太尉。漢宣帝派尚書召來黃霸問話說：「太尉的官職廢除已久，由丞相兼管其職，這是為了停止戰爭，發揚文德。如果國家有意外之事，邊境發生戰爭，左右的大臣都是將帥。宣揚教化，洞明幽深隱密之處的問題，使監獄中沒有冤案，城邑中沒有盜賊，是丞相你的職責。至於將相等官員的任用，那是朕的職責啊。樂陵侯史高為宮廷近臣，是朕所親自了解的，你為什麼要超越職權而舉薦他呢？」尚书令受命要求丞相對答，黃霸於是脫去官帽，承認有罪，好幾天後才被寬赦原諒，從這以後，黃霸再也不敢對漢宣帝有什麼奏請。然而自從漢朝建立以來，談論起治理百姓的官吏，還是以黃霸為第一[1]。
黃霸擔任丞相五年，於甘露三年去世，谥号為「定」，黃霸死後，樂陵侯史高還是做了大司马。黃霸的爵位由其子黃賞繼承，子孫中做到俸祿二千石官員的有五、六人[1][2]。
