陶侃平定了蘇峻的叛亂以后，東晉王朝暫時獲得了安定的局面。這時候，北邊卻亂了起來。

　　后趙國主石虎（石勒兒子）死了以后，內部發生大亂，后趙大將冉閔稱帝，建立了魏國，歷史上稱為冉魏；鮮卑族貴族慕容皝（音ｈｕǎｎｇ）建立的前燕又滅了冉魏。公元３５２年，氏族貴族苻健也乘機占領了關中，建立了前秦。

　　后趙滅亡的時候，東晉的將軍桓溫向晉穆帝（東晉的第五個皇帝）上書，要求帶兵北伐。桓溫是個很有軍事才能的人，他在當荊州刺史的時候，曾經進兵蜀地，滅掉了成漢，給東晉王朝立了大功。

　　但是東晉王朝內部矛盾很大。晉穆帝表面上提升了桓溫的職位，實際上又猜忌他。桓溫要求北伐，晉穆帝沒有同意，卻另派了一個殷浩帶兵北伐。

　　殷浩是個只有虛名、沒有軍事才能的文人。他出兵到洛陽，被羌族人打得大敗，死傷了一萬多人馬，連糧草武器也丟光了。

　　桓溫又上了道奏章，要求朝廷把殷浩撤職辦罪。晉穆帝沒辦法，只好把殷浩撤了職，同意桓溫帶兵北伐。

　　公元３５４年，桓溫統率晉軍四萬，從江陵出發，分兵三路，進攻長安。前秦國主苻健派兵五萬在峣關抵抗，被晉軍打得落花流水。苻健只好帶了六千名老弱殘兵，逃回長安，挖了深溝堅守。

　　桓溫勝利進軍，到了灞上。長安附近的郡縣官員紛紛向晉軍投降。桓溫發出告示，要百姓安居樂業。百姓歡天喜地，都牽了牛，備了酒，到軍營慰勞。

　　自從西晉滅亡以后，北方百姓受盡混戰的痛苦。他們看到桓溫的晉軍，都高興地流著眼淚說：“想不到今天還能夠重新見到晉軍。”

　　桓溫駐兵灞上，想等關中麥子熟了的時候，派兵士搶收麥子，補充軍糧。可苻健也厲害，他料到桓溫的打算，就把沒有成熟的麥子全部割光，叫桓溫收不到一粒麥子。

　　桓溫的軍糧斷了，呆不下去，只好退兵回來。但是這次北伐畢竟打了一個大勝仗，晉穆帝把他提升為征討大都督。