自從匈奴人占領(lǐng)中原，北方有許多人避難到南方來(lái)。劉琨的好友祖逖也帶了幾百家鄉(xiāng)親來(lái)到淮河流域一帶。在逃難的行列中，祖逖主動(dòng)出來(lái)指揮，把自己的車馬讓給老弱有病的坐，自己的糧食、衣服給大家一起吃用。大家都十分敬重他，推他做首領(lǐng)。

　　到了泗口（今江蘇清江市北），祖逖手下已經(jīng)有一批壯士，他們都是背井離鄉(xiāng)的北方人，希望祖逖帶領(lǐng)他們?cè)缛栈謴?fù)中原。

　　當(dāng)時(shí)，司馬睿還沒(méi)有即皇帝位。祖逖渡江到建康，勸瑯琊王司馬睿說(shuō)：“晉朝大亂，主要是由于皇室內(nèi)部自相殘殺，使胡人乘機(jī)會(huì)攻進(jìn)了中原。現(xiàn)在中原的百姓遭到敵人殘酷迫害，人人想要起來(lái)反抗。只要大王下令出兵，派我們?nèi)ナ諒?fù)失地。那么北方各地的人民一定會(huì)群起響應(yīng)。”

　　司馬睿并沒(méi)有恢復(fù)中原的打算，但是聽(tīng)祖逖說(shuō)得有道理，也不好推辭，勉強(qiáng)答應(yīng)他的請(qǐng)求，派他做豫州（在今河南東部和安徽北部）刺史，撥給一千個(gè)人吃的糧食和三千匹布，至于人馬和武器，叫他自己想辦法。

　　祖逖帶著隨同他一起來(lái)的幾百家鄉(xiāng)親，組成一支隊(duì)伍，橫渡長(zhǎng)江。船到江心的時(shí)候，祖逖拿著船槳，在船舷邊拍打（文言是‘中流擊楫”），向大家發(fā)誓說(shuō)：“我祖逖如果不能掃平占領(lǐng)中原的敵人，決不再過(guò)這條大江。”他的激昂的聲調(diào)和豪壯的氣概，使隨行的壯士個(gè)個(gè)感動(dòng)，人人激奮。

　　到了淮陰，他們停下來(lái)一面制造兵器，一面招兵買馬，聚集了兩千多人馬，就向北進(jìn)發(fā)了。

　　祖逖的軍隊(duì)一路上得到人民的支持，迅速收復(fù)了許多失地。當(dāng)時(shí)，長(zhǎng)江以北還有不少豪強(qiáng)地主，趁中原大亂的機(jī)會(huì)，占據(jù)堡塢，互相爭(zhēng)奪。祖逖說(shuō)服他們停止內(nèi)爭(zhēng)，跟隨他一起北伐，對(duì)不聽(tīng)號(hào)令、依附敵人的，就堅(jiān)決打擊。祖逖的威望就越來(lái)越高了。

　　劉琨在北方聽(tīng)到老朋友祖逖起兵北伐，也很高興，說(shuō)：“我夜間枕著兵器睡覺(jué)等天亮，就是一心要消滅敵人。現(xiàn)在祖逖跑到我前面去了。”