李皋為曹王李明的玄孫。少年時補官擔任左司御率府兵曹參軍。

天寶十一載（752年），襲封為曹王，授職都水使者，三次升遷官至秘書少監，都與正職俸祿相同。他多智謀，善于利用事機使得辦事方便。侍奉太妃鄭氏恭敬體貼，憑著孝順而聞名。安史之亂時，他侍奉鄭氏逃往民間，乘便跑到蜀郡，拜見唐玄宗，遷任左領軍將軍。

曾任衡州、潮州等地刺史。

建中三年（782年），鄭太妃逝世，李皋為母服喪，扶靈至江陵。適逢山南東道節度使梁崇義舉兵叛亂，朝廷于是起復李皋為左衛大將軍，命他即刻返回湖南。旋即加授散騎常侍。淮寧軍節度使李希烈叛亂，德宗升李皋為江南西道節度使、洪州刺史兼御史大夫。

李希烈叛亂時，南方諸鎮各自封鎖邊境，據守一方，只有李皋幾次派使者抄小路向朝廷進貢。李希烈攻逼永平軍、宣武軍，使江淮運道斷絕，朝廷的貢物都從宣、饒、荊、襄各州取道武關北上，頗耗財力。李皋修治驛站，平整道路。此后，使者都往來通行無阻。

貞元（785年－805年）初年，轉任江陵尹、荊南節度等使（荊南節度使）。李皋屢次擊敗李希烈的進攻，收復數州，“江漢倚皋為固”。

淮西亂事平定后，李皋請求將母親祔葬于東都洛陽，德宗允許，并派使者吊祭，追贈其父李戟為右仆射、鄭太妃為曹國太妃。葬事結束后，李皋入長安覲見，旋即奉詔回鎮，“出東都以拜墓”，為時人所榮。

貞元三年（787年），德宗授李皋為襄州刺史、山南東道節度使、檢校戶部尚書。

貞元八年（792年）三月十一日（4月6日），李皋因急病于任上突然逝世，享年六十歲。德宗為其輟朝三日，追贈右仆射，并贈以助喪財物，賜謚號“成”。

李皋死后，軍中大亂，鼓角將揚清潭等發動兵變，夜里在城中縱火搶劫，唯獨不冒犯李皋一家。

元和（806年－820年）初年，因子李道古在朝任職，加贈太子太師。