公元３１９年，陳留地方的豪強地主陳川投降后趙國主石勒，祖逖決定發兵進攻陳川。石勒派兵五萬援救，被祖逖打得大敗。接著，后趙的將領桃豹和祖逖的部下韓潛又爭奪蓬陂（在河南開封市附近）城。戰斗了四十天，相持不下，雙方的軍糧都發生了困難。

　　有一天，祖逖用布袋裝滿了泥土，派一千多名兵士扛著，運到了晉營，裝作運糧的樣子。最后又派了幾個兵士扛著幾袋米，運到半路上，故意停下來休息。

　　桃豹在趙營內看到晉兵運來那么多的米，自然眼紅，就趁晉兵休息的時候，派了大批兵士來搶。晉兵丟下米袋就逃。趙營里早已斷了糧，搶到了一點米，只能夠勉強維持幾天，但是大家看到晉營里軍糧那么充足，軍心就動搖起來了。桃豹趕快派人向石勒求救。

　　過了幾天，石勒派了一千頭驢子裝運了糧食接濟桃豹。祖逖早就探得情報，在路上設下伏兵，把后趙的糧食全部截奪下來。這樣一來，桃豹再也支持不住，連夜放棄陣地逃跑了。

　　祖逖領導晉兵艱苦斗爭，收復了黃河以南的全部領土，后趙的兵士陸續向祖逖投降的也很多。晉元帝即位后，因為祖逖功勞大，封他為鎮西將軍。

　　祖逖在戰斗的艱苦環境中，和將士們同甘共苦，自己的生活很節約，把省下的錢盡量幫助部下。他還獎勵耕作，招納新歸附的人。即使是跟自己關系疏遠和地位低下的人，他也同樣熱情地對待。生地的百姓都很擁護他。

　　有一次，祖逖舉行宴會招待當地父老。人們高興得又是唱歌，又是跳舞。有些老人流著眼淚說：“我們都老了，今天能夠在活著的日子里看到親人，死了也可以閉上眼睛了。”

　　祖逖一面操練士兵，一面擴大兵馬，預備繼續北伐，收復黃河以北的國土。哪兒想到昏庸的晉元帝對祖逖竟放心不過，怕祖逖勢力太大了不好控制，派了一個戴淵來當征西將軍，統管北方六州的軍事，叫祖逖歸他指揮。祖逖辛辛苦苦收復失地，反而受到朝廷的牽制，心里很不舒坦。

　　不久，祖逖聽說他的好友劉琨在幽州被王敦派人害死，又聽說晉元帝跟王敦正在明爭暗斗，心里又是憂慮，又是氣憤，終于得病死了。豫州的男女老少聽到祖逖去世的消息，像死了自己的親人一樣傷心。

　　祖逖雖然沒有完成恢復中原的事業，但他那中流擊楫的英雄氣概，一直被后代的人所傳誦。