從小聰穎好學，5歲時便能作詩，9歲時拜見荊南（今湖北省江陵）太守，太守試以三題，并將其文章呈進于朝。北宋天圣八年（1030年）進士及第。初授江寧推官，攝上元令（現均屬江蘇江寧）。當地有一豪強王豹子，欺男霸女橫行鄉里。元絳不懼豪紳，依法將其捕獲，予以斬首。元絳善于斷案，有一婦人狀告鄰居與其夫嗜酒爭吵，乘黑入室砍斷其夫腳。元絳見該婦哭而不哀，言其夜與夫同眠卻衣裙無血污、該婦回去后與一僧私語談笑。即令捕回婦、僧，審出實為奸情殺夫。百姓無不稱頌。

宋朝時江寧縣推官元絳(字厚之，謚章簡)代理上元縣時，有甲乙兩縣民酒醉后互毆，甲回到家中就醉臥在床，不料在半夜竟被人砍斷雙腳。甲妻指稱兇手是乙，于是乙被逮捕入獄，不久甲因傷重不治而死。

但是元絳卻對甲妻說：“乙已招供認罪，你就先回去料理你丈夫的后事吧!” 接著他暗中派吏卒尾隨甲妻，暗中監視。果然發現一名僧人遠遠望見甲妻就迎了上來，低聲談論。元絳接獲報告，立即派人逮捕甲妻，厲聲質問。甲妻見形跡敗露，只好一一從實招來。

事后有人請教元絳，元絳說：“我見甲妻雖哭但并不悲傷，再說與死者同睡一榻，為何身上競沒有沾上一滴血跡呢？所以我判斷這其中必有奸情。”

安撫使范仲淹將其調任永新知縣，后改任通州海門縣（今江蘇省啟東東北）。該地民眾多以販鹽為生，按律鹽為官辦，百姓販鹽犯法，制置使欲治鹽販罪。元絳認為該地產鹽，并以此為生，超過規定存鹽數，情有可原，宜略施懲戒放之。后升江西轉運判官、知臺州（今屬浙江省），在臺州任上，出庫錢建房數千，安置遭大水災而無家可歸的流民，修城門，設水閘，以防洪濤。繼調廣東轉運使，當時儂智高起兵反宋，他修治城廓、水寨25座，籌備軍餉器械，因御敵有功，轉為度支判官。

皇祐四年（1053年）為廣東轉運使，遷工部郎中，歷兩浙、河北轉運使，召拜鹽鐵副使，擢天章閣待制、知福州，進龍圖閣直學士，調廣、越、荊南，熙寧年間，為翰林學士，拜三司使，后知開封府。熙寧八年（1075年）十二月，自翰林學士兼侍讀學士、判太常寺兼群牧使、工部侍郎拜參知政事。元豐二年（1079年）五月，受耆寧（神宗子）事牽連，貶知亳州，改穎州。三年，加資政殿學士、知青州。四年，以太子太保致仕。卒后，贈太子少師，謚號“章簡”。