這一下子可惹了麻煩，唐憲宗對他也很不滿意。本來主張留他在京城的人也不便說話了。劉禹錫又被派到播州（今貴州遵義市）去做刺史。刺史比司馬高一級，似乎是提升，但是播州地方比朗州更遠更偏僻，那時候還是人煙稀少的地方呢。

　　劉禹錫家里有個老母親，已經八十多歲了，需要人伺候：如果跟著劉禹錫一起到播州，上了年紀的老人受不了這個苦。

　　這可叫劉禹錫太為難啦！

　　這時候，柳宗元在長安也呆不住了，朝廷把他改派為柳州刺史。柳宗元得知劉禹錫的困難情形，決心幫助好朋友。他連夜寫了一道奏章，請求把派給他柳州的官職跟劉禹錫對調，讓他到播州去。

　　柳宗元待朋友一番真誠，使許多人很受感動。后來，大臣裴度也在唐憲宗面前替劉禹錫說情，憲宗總算答應把劉禹錫改派為連州（今廣東連縣）刺史。以后，劉禹錫又被調動了好幾個地方。過了十四年，裴度當了宰相，才把他調回長安。

　　劉禹錫重新回到京城，又是暮春季節。他想起那個玄都觀的桃花，有心舊地重游。到了那里，知道那個種桃的道士已經死去，觀里的桃樹沒有人照料，有的被砍，有的枯死了，滿地長著燕麥野葵，一片荒涼。他想起當年桃花盛開的情景，聯想起一些過去打擊他們的宦官權貴，一個個在政治爭斗中下了臺，而他自己倒是頑強地堅持自己的見解。想到這里，他就又寫下了一首詩，抒發他心里的感慨，詩里說：

　　“百畝中庭半是苔，桃花凈盡菜花開。

　　種花道士歸何處？前度劉郎今又來。”

　　一些大臣聽到劉禹錫寫的新詩，認為他又在發牢騷，挺不高興，在皇帝面前說了他不少壞話。過了三年，又把他派到外地當刺史去了。