儿我也想到了。”他想的是远水不解近渴，过几天必须抢收当地的麦子，以补充粮草不足。
但是，仅仅两天之后，他的谋士们前来报告：“当地的麦子已经被苻健的大军提前抢收了，而且他们还在长安周边实行了坚壁清野。”
“啊！”这个“噩耗”彻底打碎了桓温就地取材的美梦。
同时，桓温的迟疑也坐失了良机，造成战事被动和失利。前秦苻雄先率七千骑兵攻击司马勋，并在子午谷击败了司马勋。然后集中兵力与桓温在白鹿原大战，打败了桓温。
顺阳太守薛珍在多种场合大发牢骚：“……你们说说，我早就劝桓温趁热打铁，一鼓作气拿下长安，把苻健全军消灭。桓温不听我的，太过迟疑，才有今日之败啊。哈哈，什么大将军啊？草包一个啊！”
桓温得知后，下令处死了薛珍。
在粮草不济，士无斗志，吃了败仗的情况下，桓温只得退兵。临行前，他赐给王猛华车良马，又授予王猛都护（掌管边地军政和少数民族事务的长官）一职，请王猛一起南下。
王猛心想：在江南士族门阀体制下，论“拼爹”，我只好甘居下风，很难有所作为。当年张宾他爹张瑶好歹还是中山太守呢，结果张宾不也是潦倒落魄只好效命于胡人吗。我这“八辈贫农”出身的就更是马尾巴穿豆腐——提不起来了；桓温是个有野心的人，追随他则等于助其篡晋，势必玷污清名。咳，该不着自己出山，还是继续隐居读书吧。
于是王猛婉言谢绝了桓温。
桓温不得不在六月携带着关中三千多户人向江南退却。另外还有灞上的豪族呼延毒率领族众一万人也跟着来到江南落户。
秦派太子苻苌领兵随后追袭，晋军屡次失败，但苻苌也中了乱箭去世。桓温刚占领的关中之地又都丢失了。
桓温的第一次北伐至此结束。
桓温的这次北伐比殷浩的北伐比多少强点儿吧。晋穆帝派遣使者到襄阳对桓温大军进行了犒赏劳军。
掌控朝政的“大军阀”桓温感觉殷浩还是有才能的，便写信给殷浩，打算任用他担任尚书令。