唐憲宗元和元年(806)，湜考中進士，歷陸渾縣尉、工部郎中、東都判官等職。他與李翱都是韓愈的學生，與韓處于師友之間。李翱發展了韓文平易的一面；皇甫湜則發展了韓文奇崛的一面。皇甫湜在闡述韓愈反對因襲、主張獨創的理論時說：“夫意新則異于常，異于常則怪矣；詞高則出于眾，出于眾則奇矣。”。三年，參加由皇帝親自主持的賢良方正直言極諫科考試，與牛僧孺、李宗閔直陳時政得失，無所避忌，受考官賞識，被出為陸渾(今河南嵩縣)縣尉。此案還連累了湜的舅父翰林學士王涯，亦被貶為虢州司馬。次年，湜遷殿中侍御史內供奉職。此間，湜與韓愈、李賀等人過從甚密。八年，湜回睦州故里。

元和十二年(817)，皇甫湜被山南東道節度使李愬召為幕僚，赴襄陽任職，次年五月罷鎮。至十五年，他困頓江陵府公安縣。其間，韓愈被貶潮州，柳宗元貶死任所。師友的坎坷遭遇，使他一度徬徨、苦悶，感到悲哀和憤慨。唐穆宗長慶元年(821)，湜被斥逐到吉州(今江西吉安)，與主張改革的張弘靖、張儇、楊敬之甚相投機。

唐敬宗寶歷二年(826)，應山南東道節度使李逢吉之召，為幕僚，至襄陽視事。直至唐文宗

大和二年(828)十月罷鎮，回到洛陽，常與白居易往來相訪。六年至七年，湜任工部郎中。八年，因酒后失言，數忤同列，求分司東都，至洛陽。因未升遷，官俸微薄，十分窘迫，入冬后竟至于“門無轍跡，庖突無煙”。東都留守裴度卑辭厚禮，召湜為留守府從事。次年，裴度重修福先寺，欲請白居易作碑文。湜聞訊大怒，說：“近舍湜而遠取居易，請從此辭!”裴度謝請之。“湜即請斗酒，飲酣，援筆立就”，計3254個字，裴度重酬之。此后，他寫了最后一篇文章《諭業》，總結了文學創作的基本原理和經驗，便歸故里。死后葬縣南30里。有《皇甫先生文集》傳世。今傳有《皇甫持正文集》六卷，文三十多篇。