早期事跡

劉幽求在武則天圣歷年間參加制科考試，被任命為閬中縣尉，因受到刺史的輕視，棄官而去，后授朝邑縣尉。

擔任宰相

710年（景云元年），韋皇后意欲篡位，毒死唐中宗，改立溫王李重茂為帝，并臨朝聽制。劉幽求與臨淄王李隆基暗中定計，與鐘紹京、麻嗣宗、薛崇簡等人發動唐隆政變，入宮誅殺韋后，并經手發出一百多道詔書。次日，李重茂命相王李旦輔政，進封李隆基為平王。劉幽求擢拜中書舍人，參知政務，成為宰相，并賜爵中山縣男。

不久，李旦接受李重茂禪位，登基為帝，是為唐睿宗。劉幽求代理尚書右丞之職，仍舊擔任宰相，并進封銀青光祿大夫、徐國公。當時，李隆基建有大功，群臣都建議立為太子，皇長子宋王李成器也極力請求。劉幽求進言道：“臣聽說鏟除天下禍患的人應當享有天下的福分。平王拯救社稷君親于危難，論功最大，論德最賢，應為太子。”唐睿宗遂立李隆基為皇太子。

711年（景云二年），劉幽求罷相，改任戶部尚書，不久又調任吏部尚書。同年十月，劉幽求進拜侍中。唐睿宗還賜鐵券，讓他享有免死十次的特權，并準許他的子孫世代承襲徐國公的爵位。

流放嶺南

712年（先天元年），皇太子李隆基繼位，是為唐玄宗，尊唐睿宗為太上皇。劉幽求自認為功勞在群臣之上，以為唐玄宗會任命他為尚書左仆射兼領中書令。不料，唐玄宗卻任命竇懷貞為左仆射、崔湜為中書令，而劉幽求則為尚書右仆射、同中書門下三品。他心中不平，怨憤之情形于顏色。

當時，太平公主權傾朝野，宰相多出其門下。劉幽求便打算與右羽林將軍張暐率羽林軍誅殺太平公主，并讓張暐密稟唐玄宗：“竇懷貞、崔湜、岑羲等人都是依靠太平公主才當上宰相的，日夜圖謀不軌。如果陛下不早日除掉他們，一旦事變突然發生，太上皇怎么能平安呢！臣已經與劉幽求定好了計策，就等陛下下令?！碧菩谏钜詾槿?。

事后，張暐又將密謀泄露給侍御史鄧光賓。唐玄宗得知，非常恐懼，急忙將劉幽求等人的罪狀列舉報告給唐睿宗，劉幽求因此下獄。不久，法司上奏：“劉幽求離間皇帝骨肉至親，應該判處死刑?！碧菩谝詣⒂那笥趪泄橛?，向睿宗求情，希望免除他的死罪。唐睿宗遂將劉幽求流放嶺南封州（今廣東封川），張暐、鄧光賓也都遭到流放。

劉幽求被流放后，崔湜命廣州都督周利貞將其殺死。桂州都督王晙得知這一陰謀，便將劉幽求扣留在桂州，并對周利貞索要劉幽求的公文不予理會。后來，崔湜數次向王晙施壓，讓他遣送劉幽求。王晙仍舊不理，劉幽求這才得以幸免。

憤恚而死

713年（開元元年），唐玄宗發動先天政變，誅殺太平公主。劉幽求被召回朝中，升任金紫光祿大夫、尚書左仆射、上柱國，并參與軍國重事。十二月，唐玄宗更改官制，劉幽求改任尚書左丞相兼黃門監，不久被罷相，改任太子少保。

714年（開元二年），姚崇上奏皇帝，稱劉幽求因擔任散職抑郁不樂，口出怨言。唐玄宗遂將劉幽求貶為睦州刺史，并削去實封六百戶，后調任杭州刺史。

715年（開元三年），劉幽求又調任郴州刺史。他憤恚不已，在赴任途中病逝，終年六十一歲。唐玄宗得知后，追贈他為禮部尚書，賜謚文獻。

782年（建中三年），唐德宗追贈劉幽求為司徒。