8月13日，蒋介石在内外交困之中不得已采取“以退为进”的策略，通电下野。蒋下野前，曾派何成浚、方本仁到山西，以催促阎锡山进攻奉系为名，实际上是想通过阎加紧拉拢张作霖。8月18日，何成浚由太原到北京时，就住在奉系新派将领韩麟春的家里。不久方本仁也接踵而来。蒋曾发表谈话，表示他非常希望与奉系罢战言和，一来可以早日结束战争，完成南北统一，二来可以利用奉阎的力量牵制冯。蒋介石对奉张态度暧昧，主要是忌惮日本的力量。这一点在1927年7月的胶州事变中已经得到充分证明。
待到1928年初蒋介石再度出山时，他的这种态度似乎发生了根本的改变，亮出了“二期北伐”的旗号。这时他之所以敢于对日本支持下的奉张集团动武，是因为他到日本时得到了田中首相的保证：日本“绝不援助张作霖”，“只求维护满洲的治安”。4月中旬，孙传芳、张宗昌两军于鲁西、鲁南在北伐军进攻下溃败。
日本田中内阁为了阻止北伐军北进，以保护在山东的日本侨民为借口再次决定出兵山东。5月1日，国民革命军进占济南，5月3日，日军制造了济南“五三惨案”，对济南发动袭击，杀中国外交特派员蔡公时和城内万余人。
面对日本的违约，蒋介石在兖州召开了党政联席会议。到会的国民党员都表示继续对日妥协，满足日军的全部要求，谭延闿等则不赞成放弃北伐，他们坚持国民党军绕开济南，渡黄河北进。由于谭等的建议得到多数与会者的同意，蒋介石也只得表示了赞同。不过，为避免自己直接得罪日本方面，托辞因“病”把北伐的指挥责任交给了冯玉祥，他会后又返回徐州去了。
张作霖在大势已去的情况下，命令奉军撤至保定、怀来，但这时他仍不想退往关外，还想借日本的援助保住北京。5月9日，他发出了求和的通电。美、英、法等西方国家看到南京政府取代北京政府的趋势已定，于是纷纷转向支持南京政府。当日本按照既定方针，调兵遣将，准备出兵京津，实行直接干涉时，美英等国表示反对，美国尤为表现强烈。日本政府马上放弃了在京津地区动武的打算，同意国民革命军和平接受京津，并敦促张作霖退往东北。
6月3日午夜2时，张作霖离开北京乘火车回东北。6月4日5时23分，当张作霖的专车行至沈阳皇姑屯附近时，被日本人事先埋下的地雷炸毁，张作霖被炸死。皇姑屯事件成为蒋介石解决东北问题的一个转折点。
2．蒋张合辙
张作霖被炸死后，东北军元老们为稳定政局，对张作霖死讯秘而不宣，并急召张学良回东北。在前线的张学良接到奉天督署“盼立即返奉”的电报后，遂命令所属鲍航麟旅留在北京维持治安，他本人连夜化装成炊事兵出京返奉，17日，回到沈阳。20日，东北当局宣布张作霖被炸身亡之死讯，张学良通电就任奉天督办，7月4日，被推为东三省保安总司令。张学良继位后，南京国民政府和东北各团体都希望东北问题和平解决，统一于国民政府。
蒋介石在打下北京、天津以后，为扩充自己的实力，战胜对手，很想把颇有实力的张学良拉到自己一边，其他各派也是一样心情。7月中旬，蒋、冯、阎、李等在北平小汤山召开军事会议，决定采取和平方法解决东北问题，接着各派纷纷派代表向张学良进谏，劝其早日“易帜”。
张学良继位后，帝国主义出现了不同的态度。英、美帝国主义者，对日本独占中国的野心不满，力促张学良归属南京政府，支持蒋介石统一中国；日本帝国主义则竭力反对东北易帜，力图阻止中国统一，并在东北连连制造事端，进行大规模军事演习，以逼迫张学良就范。
张学良返回奉天没几天，日本驻奉总领事林久治郎即前往拜会，警告他勿与南方妥协。日本的公开反对，为南北妥协设下了严重的障碍。但是，张学良并未为其吓倒。7月1日，张学良发出通电，明确表示同意归属南京国民政府。第二天，又密电南京政府，谓易帜势在必行。当时张学良提出的与南京政府谋和的条件是：东三省通电服从国民政府，改换旗帜；东三省成立政法分会，实行委员制；张学良任政法分会主席；杨宇霆、张作相、万福麟分任奉、吉、黑三省政府主席；所有兵权，暂由原任统率。
此前张学良曾派人到北平接洽东北易帜事宜，但由于在善后会议中冯玉祥、阎锡山二人认为东北军已失重心，可以一举歼灭，既可报以往之宿怨，亦可平分东北。这时蒋介石又有些犹豫不决，所以蒋介石于10余天中不接见东北军代表，东北军代表等不及，就派人先回东北复命。李宗仁急往见蒋，坚决反对对东北用兵并极力挽留东北军代表。蒋听李说此事后，也立即赶往东北军代表所在地六国饭店与对方晤谈。东北易帜之事遂定。
1928年6月20日，新疆杨增新易帜；7月19日，热河汤玉麟易帜。形势催促张学良早下决心，7月24日，张学良打算通电易帜，但遭到日本的蛮横干涉。张学良迫于日本的压力，只得延期易帜，并于24日以“火急”密电北平代表，自己是愿意归属