虞世南身體文弱，博聞強識。少年時與兄虞世基一起拜博學廣識的顧野王為師。十余年勤學不倦，學到緊要處，累旬不盥櫛。尤喜書法，與王羲之七世孫智永和尚友善。智永精王羲之書法，虞世南在智永的精心傳授下，妙得其體，圓融遒麗，外柔內剛，繼承了二王(王羲之，王獻之)書法傳統。他與當時的歐陽詢、褚遂良、薛稷合稱唐初四大書法家，而虞世南又是四人中最優者。他寫的《孔子廟堂碑》深得唐太宗李世民的贊賞。唐太宗非常喜愛虞世南的字，并經常臨寫。相傳有一天，唐太宗書“戩”字，但戈字還沒有寫好，正好虞世南進見，即提筆補寫了一個“戈”字。唐太宗將兩人合寫的“戩”字給魏征看，說：“朕學世南，尚近似否? ”魏征看后說：“戈字頗逼真。”虞世南死后，唐太宗嘆息道：“世南死后，無人可以論書。” 虞世南一生經歷了南朝的陳、隋和初唐三個時代。陳文帝知世南博學，召為法曹參軍。陳朝滅亡，與兄世基同入長安，做了隋朝秘書郎，后遷起居舍人。當時世基任內史侍郎，權傾當朝，榮華無比，妻子所用被服，尤勝王侯。虞世南雖與世基同住，仍以勤儉務本。隋滅后，李世民聞虞世南之名，引為秦府參軍，又授宏文館學士，與房玄齡同掌文翰，后來又擔任著作郎。一次，唐太宗想在屏風上書寫《列女傳》，沒有臨本，虞世南在朝堂上一口氣默寫出來，不錯一字，贏得朝中文士的欽佩。

虞世南雖然容貌怯懦，弱不勝衣，但性情剛烈，當政得失，直言敢諫。他多次諷勸唐太宗要勤于政事，并以古帝王為政得失，論證利弊。貞觀八年(公元634年)隴右山崩，唐太宗問“天變”。世南以晉朝以來歷次山崩為例，說：“臣聞天時不如地利，地利不如人和。若德義不修，雖獲麟鳳終是無補；但政事無闕，雖有災星何損于時。然愿隆下勿以功高古人以自矜伐，勿以太平漸久而自驕怠，慎終如始。”唐太宗聽后斂容反省。他一再勸阻唐太宗筑陵墓厚葬，使唐太宗有所收斂。他還嚴正勸阻唐太宗不要恣于游獵而疏于政事。這些都對當時的“貞觀之治”起著積極的作用。唐太宗曾對大臣們說：“你們如果都像虞世南那樣剛正忠烈，天下何憂不理。”

虞世南年逾古稀后，屢次上表求退，不許，被封為永興縣子，人稱“虞永興”。貞觀十二年(公元638年)五月壬申（二十五）日（7月11日）卒于長安，享年八十歲。唐太宗十分悲傷，痛哭流涕，說：“虞世南對我忠心一體，拾遺補闕，無日暫忘，實為當代名臣，人倫準的。我有小失必犯顏直諫，而今亡故，朝廷上下，無復人矣!”賜東園秘器，陪葬昭陵，贈禮都尚書，謚文懿。太宗還命畫圖象掛在宮中凌煙閣。

唐太宗曾稱虞世南有五絕：“一曰德行，二曰忠直，三曰博學，四曰文詞，五曰書翰。”虞世南的書法代表作是正書碑刻《孔子廟堂碑》，還編了我國第一部完整的類書《北堂書鈔》共一百六十卷，摘錄了唐初能見到的各種古書。這些古書如今大多失傳了，但《北堂書鈔》為保存我國古代文化典籍作出了重要貢獻。他死后，將慈溪鳴鶴鎮故宅改建定水寺，寺內有虞世南畫像。他的子孫便遷居長安去了。