和田方，吩咐道：“上次夫概反叛，让大王十分震怒。为了巩固太子的地位，大王有图谋夫概的意图。而夫概已经逃到了宋国，我龙卫营必欲除之。”
三人受命，伍员便令越朋主持龙卫营的日常事务，对夫概的追杀亦由越朋负责具体安排和执行。
伍员办完公事，便令古辛驾车直奔孙武府上。
孙武迎入伍员，在书房坐了。孙武命侍者上茗，然后二人闭门而谈。
伍员笑道：“当日我荐贤弟出山，今日贤弟凭借破楚一役，搏取盖世奇功，名震华夏，正是日悬中天；奈何却有退意，愚兄实在有些不解。”
孙武回道：“兄长可知天道乎？月圆盈亏，暑往而寒来；春去不远秋将至，四季轮回人自知。弟观大王为人：现在国富民丰，四境无虞，大王必生骄奢之志。再则大王恃其强盛，必然频频用兵，长此以往，定会民怨沸腾、国势日衰。弟听闻大王已经开建长乐宫、筑高台于姑苏山。大王骄乐已生，以后难有大志。”
伍员见孙武剖析得十分中肯，沉吟半晌，方道：“君王虽然亦有过失之处，但愚兄看来，还算是一代明君。贤弟难道认为大王真的不值得辅佐吗？”
孙武摇头道：“大王虽为一代有为之君，但是身后的君主如何呢？现在我等已经功成名就，此时不退，将来必有后患。弟不单是想保全自己，也劝兄长见好就收，趁此功成名就之日，脱身去罢。”
伍员思之良久，叹道：“愚兄与贤弟的处境大不相同。我为楚国亡臣，投奔大王羽下。我为大王图谋得位，大王为我出兵破楚，报我满门冤仇，我们君臣共患难十余载，岂可轻言相弃耶！虽说贤弟之言自是有理，但亦有过虑之言。”
孙武半晌无言，对伍员拱手道：“弟已经打定了辞官的主意。人各有志，大王如果向兄长问询，望兄长成全我的一番归隐之心。小弟在此谢过，从此你我兄弟一别：展眼有生年，各自保平安。”
伍员见孙武辞官之意甚是坚决，也不好再劝。
阖闾知孙武固辞，只欲还山，吴王便不再强留，赏赐给孙武金帛财货数车，准其在吴国山林隐居。
这日，孙武登车，也没与同僚们告别，便飘然而去，沿途把吴王赏赐的财货金帛散之于贫民之家，归隐于民间矣。