自從匈奴人占領中原，北方有許多人避難到南方來。劉琨的好友祖逖也帶了幾百家鄉親來到淮河流域一帶。在逃難的行列中，祖逖主動出來指揮，把自己的車馬讓給老弱有病的坐，自己的糧食、衣服給大家一起吃用。大家都十分敬重他，推他做首領。

　　到了泗口（今江蘇清江市北），祖逖手下已經有一批壯士，他們都是背井離鄉的北方人，希望祖逖帶領他們早日恢復中原。

　　當時，司馬睿還沒有即皇帝位。祖逖渡江到建康，勸瑯琊王司馬睿說：“晉朝大亂，主要是由于皇室內部自相殘殺，使胡人乘機會攻進了中原。現在中原的百姓遭到敵人殘酷迫害，人人想要起來反抗。只要大王下令出兵，派我們去收復失地。那么北方各地的人民一定會群起響應。”

　　司馬睿并沒有恢復中原的打算，但是聽祖逖說得有道理，也不好推辭，勉強答應他的請求，派他做豫州（在今河南東部和安徽北部）刺史，撥給一千個人吃的糧食和三千匹布，至于人馬和武器，叫他自己想辦法。

　　祖逖帶著隨同他一起來的幾百家鄉親，組成一支隊伍，橫渡長江。船到江心的時候，祖逖拿著船槳，在船舷邊拍打（文言是‘中流擊楫”），向大家發誓說：“我祖逖如果不能掃平占領中原的敵人，決不再過這條大江。”他的激昂的聲調和豪壯的氣概，使隨行的壯士個個感動，人人激奮。

　　到了淮陰，他們停下來一面制造兵器，一面招兵買馬，聚集了兩千多人馬，就向北進發了。

　　祖逖的軍隊一路上得到人民的支持，迅速收復了許多失地。當時，長江以北還有不少豪強地主，趁中原大亂的機會，占據堡塢，互相爭奪。祖逖說服他們停止內爭，跟隨他一起北伐，對不聽號令、依附敵人的，就堅決打擊。祖逖的威望就越來越高了。

　　劉琨在北方聽到老朋友祖逖起兵北伐，也很高興，說：“我夜間枕著兵器睡覺等天亮，就是一心要消滅敵人。現在祖逖跑到我前面去了。”