顏師古是名儒顏之推的孫子、顏思魯的兒子。少傳家業，遵循祖訓，博覽群書，學問通博，擅長于文字訓詁、聲韻、校勘之學；他還是研究《漢書》的專家，對兩漢以來的經學史也十分熟悉。

隋文帝仁壽年間，由尚書左丞李綱舉薦，任安養縣（今湖北襄樊）尉。尚書左仆射楊素見其年少，問他：“安養劇縣，子何以治之？”顏師古回答：“割雞焉用牛刀。”楊素驚其夸口。后來果然以政績突出聞名。后因坐事免職居長安，十年不得官，家貧，以教授為業。

隋大業十三年（公元617年），太原留守李淵起兵入關，顏師古從父至同州朝邑長春宮謁見，被授予朝散大夫之職。

唐武德元年（公元618年），李淵稱帝建立唐王朝，拜顏師古為敦煌公府文學，轉起居舍人，再遷中書舍人，掌機密，專典皇帝詔敕。軍國政務等重大詔令皆出于顏師古之手，其文才當時未有敢于與其相比者。顏師古勤于政事，又擅長文辭，其所擬制誥冊奏之工整美好，名冠當時。

唐武德九年（公元626年），秦王李世民即皇帝位，顏師古被擢為中書侍郎，封瑯琊縣男。后坐事兩次被貶。顏師古聰敏好學，精于訓詁。

唐貞觀七年（公元633年），顏師古被任命為秘書少監，專管校定古書的工作，每遇疑惑不解的奇文難字，他都能一一辨析，并說明其本源。貞觀十一年（公元637年），顏師古奉詔與博士撰寫成《五禮》，進爵為子。后又奉太子承乾之命注《漢書》。貞觀十五年（公元641年）書成，進秘書監，以文學入選崇賢、弘文兩館學士。《漢書注》是顏師古晚年力作，在審定音讀、詮釋字義方面用功最多，成績最大，解釋詳明，深為學者所重。當時即有“杜征南（杜預）、顏秘書（顏師古）為左丘明、班孟堅忠臣”之稱譽。

貞觀十九年（公元645年），顏師古隨從太宗征遼東，途中病故，終年65歲，謚曰“戴”。墓地位于今山東省蘭陵縣蘆柞鎮前蘆柞村東南。