早年經歷

魏知古為人正直，二十歲便考中進士，歷任著作郎、鳳閣舍人、衛尉少卿，參與編修國史，又兼任檢校相王府司馬。神龍元年（705年），魏知古擔任吏部侍郎，進位銀青光祿大夫，因母喪離職，后被起復為晉州刺史。

疏諫時政

景云元年（710年），相王李旦繼位，是為唐睿宗。魏知古因曾任相王府屬官，被拜為黃門侍郎，兼修國史。景云二年（711年），魏知古又改任右散騎常侍。

當時，唐睿宗為女兒金仙公主、玉真公主修建道觀。魏知古上疏進諫道：“安養百姓是治政之本。為公主修建道觀，是要樹功德來祈求福佑，但卻占用民宅，使百姓無處安身，這既背人事，也有違天時，陛下為人父母，怎能安心。君主言行都要記載在史書中，因此非禮勿言，非禮勿動。臣有諫諍之責，又負責修史，如記下陛下不合常理的舉動，后人會怎么看？臣認為盛暑修觀非常不妥。請陛下體察民意、罷去勞役，造福于民。”唐睿宗不聽。

不久，魏知古又進諫道：“臣聽說百姓以君為天，君以百姓為本。陛下登基后，百姓都以為朝廷會施新政，但如今卻風教衰敗，府庫空虛，人力凋敝，勞役不止，官員日增。為二位公主修建道觀，并非急務，臣此前請求停止這一勞役，但仍未停止。今年水旱成災，五谷不熟，若到明年春天，一定會發生饑荒。陛下為人父母，想用什么方法來拯救呢？突厥為患，為時已久，如今又遣使來朝，請求和親。他們乘中國饑虛，在和親之際，倘若窺測侵犯，國家應怎么提防呢？”唐睿宗認為他言辭懇切，任命他為同中書門下平章事，兼任太子左庶子。

擔任宰輔

先天元年（712年），魏知古擔任戶部尚書、同中書門下三品。八月，太子李隆基繼位，是為唐玄宗，尊父親唐睿宗為太上皇。魏知古又被擢拜為侍中。不久，魏知古隨唐玄宗到渭川打獵，賦詩諷諫。唐玄宗下詔褒揚魏知古，對他大加賞賜。

開元元年（713年），魏知古進封梁國公。當時，太平公主與宰相竇懷貞等人意欲作亂，密謀廢立。魏知古向唐玄宗告發，唐玄宗遂搶先發動政變，誅殺太平公主等人。政變成功后，魏知古獲賜實封三百戶。

遭饞罷相

魏知古早年曾得到姚崇的引薦，后與姚崇并列相位，受到姚崇的輕視。姚崇奏知皇帝，任命魏知古為吏部尚書，讓他到東都洛陽主持選官，魏知古非常不滿。姚崇之子認為父親對魏知古有恩，便趁機請托于他。開元二年（714年），魏知古從洛陽回京，將此事告知唐玄宗。

不久，玄宗假意問姚崇道：“你兒子才能如何？現在何處？”姚崇揣知玄宗的心意，便答道：“臣有兩個兒子在洛陽任職，欲望很多但不謹慎。臣早年曾有恩于魏知古，他們一定是借此請托于魏知古。”唐玄宗認為姚崇公正無私，而魏知古卻有負于姚崇，便欲罷免他的官職。姚崇道：“臣的兒子行為失檢，擾亂法紀，陛下卻罷免魏知古，天下人一定會以為陛下偏私于臣。”唐玄宗最終還是在同年五月將魏知古罷為工部尚書。

病逝

開元三年（715年），魏知古病逝，終年六十九歲，追贈幽州都督，謚號為忠。