胡質年輕時與蔣濟和朱績皆在江淮之間聞名，在州郡任職。後來蔣濟任別駕，與曹操舉薦胡質。曹操问：“胡通达（胡质父胡敏的表字）是长者，有子孙吗？”蒋济说：“有子名胡质，规模大略不及于父，至于精良综事则过之。”曹操於是任胡質為頓丘令。後來歷任丞相東曹令史，揚州治中，丞相屬等職。
黃初年間遷任吏部郎，先後出任常山和東莞太守。後又遷任荊州刺史，加振威將軍，爵關內侯。正始二年（241年），東吳將領朱然圍攻樊城，胡質率輕兵支援樊城，有人認為吳軍太多，不宜率兵進逼，但胡質則認為樊城城小兵少，若不派兵支援，很可能生亂失陷。胡質率兵到圍城的吳兵外圍，穩定了城內人心。不久太傅司馬懿率兵解圍。後來遷任征東將軍，假節都督青、徐諸軍事。任內鼓勵農耕，令糧倉有多年的儲藏，又設置東征臺，一方面用作耕作，另一面則用作軍事駐防。又開通河道，方便船隻航行，嚴防東吳攻擊。而沿海則一片安定。
嘉平二年（250年）逝世，家中都沒有甚麼錢財。追封陽陵亭侯，諡貞侯。由兒子胡威繼嗣。嘉平六年（254年）朝廷下詔追思並褒獎徐邈、胡質和田豫，賜三人家室二千斛穀和三十萬錢，並布告天下。
胡質性格沉實，不以事物表面去判定事物，能夠加以思考。如任頓丘令時，遇上一個縣民郭政與他的堂妹私通的案件，郭政更殺害了堂妹的丈夫程他。但二人面對嚴刑仍然矢口否認指控，相反作為證人的郡吏馮諒卻被指控誣告，嚴刑之下唯有招認。胡質仔細調查事件後，最終查明真相，郭政和其堂妹亦只好招認，還馮諒清白。
張遼與當時擔任他的護軍的武周有嫌隙。張遼見刺史溫恢，請求讓胡質擔任幕僚，胡質稱病推託。張遼對胡質說：「我有心任你作官，爲什要辜負我的好意呢?」胡質回答：「古人結交朋友，看他索取多，仍相信他不貪，臨陣脫逃仍相信他不怯，聽聞流言而不信，交情才可以長久。武伯南身為雅士，將軍以往都讚賞他，今為一點小事，居然就成嫌隙。何況我胡質才能淺薄，怎麼能得到你的信任？所以我不願意就職。」張遼感其言，於是便與武周和好。
- 胡敏，字通達，以方正被征辟，在江淮之間甚有名望。
- 胡奕，胡威之子，平東將軍。
- 《三國志·魏書·胡質傳》
- 《資治通鑑》
