虞世南身體文弱，博聞強(qiáng)識(shí)。少年時(shí)與兄虞世基一起拜博學(xué)廣識(shí)的顧野王為師。十余年勤學(xué)不倦，學(xué)到緊要處，累旬不盥櫛。尤喜書(shū)法，與王羲之七世孫智永和尚友善。智永精王羲之書(shū)法，虞世南在智永的精心傳授下，妙得其體，圓融遒麗，外柔內(nèi)剛，繼承了二王(王羲之，王獻(xiàn)之)書(shū)法傳統(tǒng)。他與當(dāng)時(shí)的歐陽(yáng)詢、褚遂良、薛稷合稱唐初四大書(shū)法家，而虞世南又是四人中最優(yōu)者。他寫(xiě)的《孔子廟堂碑》深得唐太宗李世民的贊賞。唐太宗非常喜愛(ài)虞世南的字，并經(jīng)常臨寫(xiě)。相傳有一天，唐太宗書(shū)“戩”字，但戈字還沒(méi)有寫(xiě)好，正好虞世南進(jìn)見(jiàn)，即提筆補(bǔ)寫(xiě)了一個(gè)“戈”字。唐太宗將兩人合寫(xiě)的“戩”字給魏征看，說(shuō)：“朕學(xué)世南，尚近似否? ”魏征看后說(shuō)：“戈字頗逼真。”虞世南死后，唐太宗嘆息道：“世南死后，無(wú)人可以論書(shū)。” 虞世南一生經(jīng)歷了南朝的陳、隋和初唐三個(gè)時(shí)代。陳文帝知世南博學(xué)，召為法曹參軍。陳朝滅亡，與兄世基同入長(zhǎng)安，做了隋朝秘書(shū)郎，后遷起居舍人。當(dāng)時(shí)世基任內(nèi)史侍郎，權(quán)傾當(dāng)朝，榮華無(wú)比，妻子所用被服，尤勝王侯。虞世南雖與世基同住，仍以勤儉務(wù)本。隋滅后，李世民聞?dòng)菔滥现秊榍馗畢④姡质诤晡酿^學(xué)士，與房玄齡同掌文翰，后來(lái)又擔(dān)任著作郎。一次，唐太宗想在屏風(fēng)上書(shū)寫(xiě)《列女傳》，沒(méi)有臨本，虞世南在朝堂上一口氣默寫(xiě)出來(lái)，不錯(cuò)一字，贏得朝中文士的欽佩。

虞世南雖然容貌怯懦，弱不勝衣，但性情剛烈，當(dāng)政得失，直言敢諫。他多次諷勸唐太宗要勤于政事，并以古帝王為政得失，論證利弊。貞觀八年(公元634年)隴右山崩，唐太宗問(wèn)“天變”。世南以晉朝以來(lái)歷次山崩為例，說(shuō)：“臣聞天時(shí)不如地利，地利不如人和。若德義不修，雖獲麟鳳終是無(wú)補(bǔ)；但政事無(wú)闕，雖有災(zāi)星何損于時(shí)。然愿隆下勿以功高古人以自矜伐，勿以太平漸久而自驕怠，慎終如始。”唐太宗聽(tīng)后斂容反省。他一再勸阻唐太宗筑陵墓厚葬，使唐太宗有所收斂。他還嚴(yán)正勸阻唐太宗不要恣于游獵而疏于政事。這些都對(duì)當(dāng)時(shí)的“貞觀之治”起著積極的作用。唐太宗曾對(duì)大臣們說(shuō)：“你們?nèi)绻枷裼菔滥夏菢觿傉伊遥煜潞螒n不理。”

虞世南年逾古稀后，屢次上表求退，不許，被封為永興縣子，人稱“虞永興”。貞觀十二年(公元638年)五月壬申（二十五）日（7月11日）卒于長(zhǎng)安，享年八十歲。唐太宗十分悲傷，痛哭流涕，說(shuō)：“虞世南對(duì)我忠心一體，拾遺補(bǔ)闕，無(wú)日暫忘，實(shí)為當(dāng)代名臣，人倫準(zhǔn)的。我有小失必犯顏直諫，而今亡故，朝廷上下，無(wú)復(fù)人矣!”賜東園秘器，陪葬昭陵，贈(zèng)禮都尚書(shū)，謚文懿。太宗還命畫(huà)圖象掛在宮中凌煙閣。

唐太宗曾稱虞世南有五絕：“一曰德行，二曰忠直，三曰博學(xué)，四曰文詞，五曰書(shū)翰。”虞世南的書(shū)法代表作是正書(shū)碑刻《孔子廟堂碑》，還編了我國(guó)第一部完整的類書(shū)《北堂書(shū)鈔》共一百六十卷，摘錄了唐初能見(jiàn)到的各種古書(shū)。這些古書(shū)如今大多失傳了，但《北堂書(shū)鈔》為保存我國(guó)古代文化典籍作出了重要貢獻(xiàn)。他死后，將慈溪鳴鶴鎮(zhèn)故宅改建定水寺，寺內(nèi)有虞世南畫(huà)像。他的子孫便遷居長(zhǎng)安去了。