第二年春天，叛軍發生內訌，安祿山的兒子安慶緒殺了安祿山，自己稱帝。要消滅叛軍，這本來是個好機會。但是肅宗急于回長安，不聽李泌的計劃，把郭子儀的人馬從河東調回，強攻長安，結果打了一個敗仗。后來，郭子儀借了回紇（我國古代北方民族之一，紇音ｈé）的精兵，集中了十五萬人馬，才把長安攻了下來。接著，又收復了洛陽，叛亂頭目安慶緒逃到河北，史思明也被迫投降。

　　唐軍收復了長安和洛陽，唐肅宗覺得心滿意足，用駿馬把李泌接到長安。

　　唐肅宗的寵妃張良娣和宦官李輔國，嫌李泌權大，早就互相勾結，想把李泌除掉。

　　太子李俶發現張良娣他們想害李泌，就告訴了李泌。李泌說：“不打緊。我和皇上有約在先，等收復京城，我就歸山，就沒有事了。”

　　這回，李泌見唐軍收復兩京，算是了卻一個心愿，決心離開朝廷。

　　有一天晚上，唐肅宗請李泌喝酒，并且留他一起睡。李泌趁機會就對肅宗說：“我已經報答了陛下，請讓我回家再做個閑人吧！”

　　唐肅宗說：“哎，我和先生共了幾年患難，現在正想跟您一起享受安樂，怎么您倒要走了呢？”

　　李泌懇切地說：“我和陛下結交太早；陛下太重用我，信任我。就是因為這些緣故，我不能不走。”

　　唐肅宗說：“今天先睡吧，隔天再說。”

　　李泌說：“今天我跟陛下坐在一個榻上談話，你不答應我。將來到了公堂上面，就沒有我說話的余地了。如果你不讓走，那就等于殺我了。”

　　唐肅宗雖然不愿讓李泌離開，但是經不住李泌一再請求，只好同意。

　　李泌到了衡山（在今湖南省），在山上造個屋子，重新過他的隱居生活。

　　李泌走了以后，唐肅宗身邊少了一個正直的大臣，李輔國等一批宦官的權力就大起來了。