谈判。1921年2月，双方的合并合同准备就绪，但在最后时刻，简玉阶和简氏家族的其他成员拒绝签字，理由依然是“先敌后降，为社会所唾弃”。1923年，53岁的简照南突然去世，合并事宜从此无人再提。
简照南逝后，南洋兄弟的经营日渐下滑，1924年的利润猛降到47.9万元，只有上年的12%，公司内部出现了管理不善、市场失措和族人贪污的混乱现象。高家龙的研究表明，“简玉阶本人并不贪污，但他却纵容了公司中每一个部门的非法行为”。1927年，南京国民政府成立，当即宣布将烟草税收大幅上调至50%，国内烟草工厂顿时倒闭过半，而英美烟草则十分强硬地拒绝这一税收政策。作为国烟最大企业，南洋兄弟受到的冲击可以想见。英美烟草更是乘机大幅降价，抢夺市场。具有讽刺性的是，南洋兄弟是国民党政权最早的捐助者之一。早在1911年，简氏兄弟就捐献了大量现金给孙中山。1922年，他们向广东的国民党军队赠送了2万元的给养。
蒋介石进入上海后，南洋兄弟又捐出了50万元。但是，它却成了第一批政策牺牲者。学者郑友揆认为：“中国关税政策的主要目的是增加财政收入，保护国内工业则尚在其次。”1928年和1929年，南洋兄弟巨亏545万元，后来几年虽然有所复苏，但是年度利润再没有超过60万元，仅为简照南时代的一个零头。到30年代初期，日军占领东北，日本烟草迅速覆盖东三省和华北市场，南洋烟草进一步遭到挤压。在凶险的生存压力下，简玉阶只好向政府求援，要求将南洋变为“国营企业”。为了躲避官方和非官方的勒索，他还聘请杜月笙和宋子良为南洋董事。到1937年，简玉阶找宋子文借钱，后者乘机掠走27%的股份，成为公司的董事长。自1905年南洋兄弟创立后，简氏家族第一次失去了对公司的控制。
“七七事变”后，南洋在上海的工厂被日本炸毁，大陆市场几乎全数沦丧，而英美烟草一直到1941年太平洋战争爆发后才退出中国市场。1945年，二战结束，英美烟草迅速归来，而被宋子文控制的南洋烟草已不复当年之勇，其年产量不到前者的1\/10。
对南洋兄弟研究最深的是美国康奈尔大学历史系主任高家龙。他在《中国的大企业：烟草工业中的中外竞争（1890~1930）》一书中认为，简照南是少见的、拥有企业家精神的“熊彼特式的企业家”。