公元357年，前秦苻坚自立为帝。苻坚是氐族人，他在王猛的辅佐下，全盘接受汉族文化，抑制豪强，兴修水利，注意农桑，改进农业耕作技术，使前秦成为北方最强大的国家。苻坚灭燕后，占领黄河下游。公元373年，攻占东晋益州之地。公元376年，又攻灭今甘肃西部前凉及鲜卑拓跋氏在今山西北部所建的代国。苻坚统一了整个北方，便积极准备南下灭亡东晋。
东晋王朝依靠长江天险和南方经济相对稳定发展的局面，得以偏安一隅，到此时已有近六十年。东晋、前秦间以淮河为界，形成南北对峙的格局。
公元382年，苻坚大会群臣说：“朕继承王位已二十多年，东征西战，每想到天下尚未统一，便深感不安。如今四方夷族都已降服，惟有晋国尚在。朕现在拥有精兵百万，良将千员，欲亲自带兵讨伐晋国，众卿以为如何？”
苻坚此番话刚出口，众大臣便议论纷纷。有人提出长江天险难渡，讨伐晋国难以取胜。苻坚说：“长江有何了不起！如今我有雄兵百万，若将马鞭掷于江中，便能截断江水，天险有何用！”
苻坚见反对意见居多，十分生气，他说：“不必再言！在路边盖房者，去询问每个过路者的意见，永远不会一致。此事还是由朕决定！”
苻坚的谋臣王猛于七年前去世，临终时，曾嘱咐苻坚：“东晋虽偏居江南，但与邻国友好相处，国泰民安。臣死之后，陛下不可攻打晋国。”当时苻坚对王猛言听计从，但在攻晋一事上却看法相反。此事已隔多年，苻坚认为攻晋条件已经成熟。
等到群臣退出之后，苻坚留下弟弟苻融商议。苻融也不同意进攻东晋，他提出伐晋有“三难”，强调由于前秦连年战争，兵士疲惫，人民不愿与东晋作战。又指出，最大的忧患还在于，被前秦征服的鲜卑、羌、羯等族贵族，遍布京城内外，他们都与前秦有仇，一旦大军东下，关中会面临很大危险。苻融还说：“凡言不可伐晋者皆陛下忠臣，陛下可以不听我等意见，王猛不可伐晋的遗嘱，陛下忘了吗？”苻坚听罢不高兴道：“朕强兵百万，资仗如山，仗朕屡胜声威，攻打即将灭亡的晋国，何愁不能取胜？”此时，鲜卑族将军慕容垂及羌族贵族姚苌也分别来见苻坚。他们希望苻坚在战争中失败，好趁机恢复前燕的统治，都怂恿苻坚伐晋，请他“圣心独断”。苻坚听后很高兴，于是决意用兵。
公元383年五月，苻坚命全国平民每十丁抽出一兵，共调集军队一百多万人。里面有鲜卑人、羯人、匈奴人、氐人、羌人，其中大部分为汉人。八月，南征开始，苻融及慕容垂等统率步骑二十五万为前锋。令姚苌率蜀兵顺流东下。苻坚自己率步兵六十万，骑兵二十七万，作为全军主力。苻坚一声令下，大军“水陆齐进”，“旗鼓相望，前后千里”，当苻坚已抵今河南项城、沈丘二县一带时，所率尾部，尚在长安城屯集待发。在东西万里战线上，开始了对东晋的大举进攻。
秦军出兵的消息，早已传到东晋国都建康。在此紧急关头，为争夺权力而互相勾心斗角的东晋统治集团，停止内乱，赶快商议对策。朝廷上下都在议论此事，有人主张，大敌当前要奋起抵抗；有人认为，敌强我弱，应该及早投降。宰相谢安极力反击投降派，他说：“以弱取强，以少胜多乃为常见。赤壁之战便是前例。”谢安力主抵抗，率东晋官兵进行军事部署。
谢安文武双全，有勇有谋。他命弟谢石指挥全军；命侄谢玄担任先锋，率八万兵马阻击秦军；又派胡彬率水兵五千去淝水河边寿阳城，助当地官兵进行抵抗。谢安亲自担任征讨大都督。
八万晋军对抗一百一十二万秦军，力量如此悬殊，晋军将领都心神不安。谢玄去向谢安请示作战方略，谢安轻描淡写地说了句“我自有安排”，便无下文。谢玄问不出名堂，又不敢再多言，就又另派人去问。谢安仍不回答，而是让大家邀集亲朋好友一起到山间别墅去游玩。在别墅中，他绝口不谈军务，而与谢玄以别墅为赌注下棋。谢安棋艺以前总敌不过谢玄，这天因谢玄忧惧战事，反而输给谢安。谢安对外甥说：“我所赢这座别墅便送给你！”下完棋，谢安又同大家在山间游玩，直到晚上，才回到府上。然后指挥将帅，部署兵力，各自分头去迎敌。
东晋大将桓冲听说京城危急，写信给谢安，表示要派三千精兵援助京师。谢安对来使说：“朝廷已作安排，兵力、武器都不缺，不劳桓公派兵，还是用在西边防务上为好。”桓冲听后，对幕僚说：“谢安石（谢安字安石）有宰相度量，可惜不懂军事。现在大兵压境，却只顾谈笑游玩，还派了一些少不更事的年轻人去督战，兵力又那般单薄、脆弱，国家前途可想而知，恐怕我们都要成为秦军的俘虏。”