湿热，江州军也很难再发动大规模的战争了。
考虑到以上种种的因素，吕蒙现在认定，已经到了可以撤军的时候了。
于是，吕蒙便立刻向孙权上书，将五溪蛮阻断后路的危险性大肆分析了一番；以及如今天气正在变热，大军围困公安城会变得困难重重；加上南郡的战事已经不可为，也要将虎牙山的军队撤退了。
吕蒙的这封表章的内容，跟他心里的打算是不太相同的。毕竟他是个聪明人，眼睛看到的一切，心里所想的一切，并不一定能够如实向孙权和盘托出。否则可能事与愿违，激起孙权的怒火，倒时候反而不撤军就不妙了。
孙权看过陆逊的捷报和吕蒙的表之后，心里果然没有对撤退产生抵触情绪。他召集张昭、顾雍和阚泽三人商议。大家都觉得从荆州撤退是迟早的事情，只是大军究竟要撤退到何处是个问题。
最后，大家商定应该要保住荆州南边的二到三个郡，即武陵、零陵和桂阳。
然后，孙权传令虎牙山的双桓，即刻率军撤退。长江上面的江东水军则继续与江州军对峙。按照孙权的打算，江东水军一定要到最后才能够撤退的。