胡儼從小十分好學，對天文、地理、律歷、醫學、占卜方面的書籍，無不博覽。洪武年間，胡儼以舉人身份被授予華亭縣教諭，能以師道自任。母親去世，他守孝期滿后，改到長垣任教諭，請求給予便地養家，后又改到余干縣任職。批準學官請求便地即是從胡儼開始。

建文元年（1399年），胡儼被推薦任為桐城縣知縣。他主持開鑿桐陂水，灌溉田地，使百姓獲利。縣境有虎傷人，胡儼齋戒沐浴后向神靈禱告，老虎便逃走了。桐城縣人把他供祀在朱邑祠。

建文四年（1402年），副都御史練子寧把胡儼推薦給朝廷，說：“胡儼具有的知識足以通達天人，他的才智足以參佐帷幄。”等胡儼被召來時，燕王的部隊已渡過了長江。

朱棣即位后，說：“胡儼懂得天文，就讓欽天監考考他。”考完之后，欽天監官員上奏說胡儼確實通象緯、氣候之學。不久又因解縉的推薦，授予胡儼翰林檢討之職，與解縉等人一同在文淵閣當值。升為侍講，再升為左庶子。胡儼因父親去世守喪，守孝期滿后胡儼又出來任職。胡儼在內閣時，受皇上顧問，他從不與人爭先，但稍嫌戇直。

永樂二年（1404年）九月，胡儼被任為國子監祭酒，便不再參預機務。當時國子監用法嚴峻，國子生請事假回家的，也被判戍邊。胡儼到任后，立即上奏廢除了這條規定。

永樂七年（1409年），朱棣幸臨北京，召胡儼赴行。

永樂八年（1410年），朱棣率軍北征，命胡儼以祭酒兼侍講，掌管翰林院事務。輔佐皇太孫留守北京。

永樂十九年（1421年），胡儼改任北京國子監祭酒。當時，海內統一已近五十年，朱棣正內興禮樂，外懷要荒之地，公卿大夫彬彬然多是文學之士。胡儼作為館閣宿儒，朝廷大著多出自他之手，重修《太祖實錄》、《永樂大典》、《天下圖志》，他都擔任總裁官。他主持國學二十余年，以身率教，一行一動都有師法。

洪熙元年（1425年），胡儼以病請求退休，明仁宗朱高熾賜給敕書，獎勵慰勞他，進升他為太子賓客，仍兼祭酒。退休后，朝廷免除他子孫的賦稅徭役。明宣宗朱瞻基即位后，以禮部侍郎之銜召胡儼，胡儼推辭歸家。

胡儼在家二十年，方岳重臣都以師禮對待他。胡儼與他們交談，從不曾說到他個人的事。他自處淡泊，歲時的衣食才剛夠需要。當初他任湖廣考官時，看到楊溥的文章，非常驚異，在其上題寫道：“此文作者必能為董子之正言，而不為公孫之阿曲。”世人都認為他知人。

正統八年（1443年）八月，胡儼去世，終年八十三歲。