又过了六年，他跳到华俄道胜银行出任买办，继而又转任荷兰银行买办。荷银是当时远东最大的国际财团之一，虞洽卿一直到抗战时逃离上海才卸任此职。在随后的30多年里，虞洽卿一边为洋行当买办，一边操持自己的生意，左右逢源，互不耽误，竟成就一番事业。
与同时代的上海商人比肩而立，虞洽卿的产业并不是做得最大的，不过，他却是影响力最大的一位。在后来的数十年间，他游走在洋人、劳工、资本家、政治家以及黑社会帮派之间，是最为八面玲珑和有斡旋能力的中国商人，有“老娘舅”之称。他以“一品百姓”自居，精明、急利却也有着兼济众生的古典情结。在乱世之中，他始终艰难地坚持商者的独立人格，然而却又在后来一个最敏感的时刻，做出了一个改变中国企业家阶层集体命运的举动。
虞洽卿第一次展露“调解人”才能，是在1898年。在当时的上海法国租界，法国商人以建立医院和屠宰场为由，强行平毁了一处宁波商人的墓地坟冢。华人向以祖坟为最不可侵犯之神地，法人的蛮横当即引起喧天公愤，甬商原本就在上海势力庞大，一怒之下宣布大罢市。谁想法租界当局竟也十分强硬，不肯让步，双方一时僵持不下。便在这当头，虞洽卿跑去找同乡的“短档朋友”，鼓动这些卖苦力的穷人也一起罢工。他特别说动了租界里的女佣们，鼓动她们不去给洋雇主们洗衣烧饭，他则在背后出钱襄补。商人罢市、苦力罢工、女佣罢洗，法租界立即乱成一团，虞洽卿又只身前往当局交涉。法国人只好让步，墓地产权终被归还。经此一役，虞洽卿在上海滩上开始小有名气。
大闹会审公堂案发生后，又是虞洽卿摆平了这场棘手的风波。
虞洽卿的伎俩还是在洋人和民众间玩“危险的游戏”。一方面，他以买办的身份跟英人斡旋沟通，另一方面则又找来那些“短档朋友”，请他们在自己的公寓里聚会暗谋。他鼓动说：“华官尚复侮辱，若不力争，商民之受辱必日甚一日。”在他的策划下，各个阶层的租界华人宣布实行无限期的总罢工。当事态闹得不可开交的时候，他转而找到德、俄、法、日、荷等国的驻沪领事馆——他曾经为三个国家的银行当过买办——恳请他们出面协调平息此事。靠着这番纵横捭阖，英租界当局终于退让，被迫撤去滋事的主审官，撤惩殴打华官的巡捕房捕头，向中国官厅公开道歉，并释放黎黄氏和所有被押华人。
过去数十年间，华夷相争几乎都以中方的隐忍和妥协收场，屈辱避让已成惯性，此案得以这种完胜结局收场，当然让朝廷和所有华人大呼痛快。公案了结当日，苏淞太道台袁树勋、公堂公审官关炯之特意携手虞洽卿，三人一道来到上海最繁华的南京路，缓缓步行，沿途大声招呼各家商号大胆开市。虞洽卿顾盼生风，一时妇孺皆识。
“会审案”后，虞洽卿顺势再上。他写信给租界的工部局，以协调英华商人的各类事宜为由，提议增设华商董事。1906年2月，工部局同意成立华商公议会，虞洽卿等七人为首届华商董事。
虞某两次调停得逞，与他善于利用“短档朋友”的力量十分有关。他出身草根，自然跟底层群众有天然的呼应。20世纪初的上海滩，鱼龙杂处，是一处天大的“冒险场”，除了政客、文人及商人之外，人数最为众多、情绪最容易被煽动的劳工阶级以及底层社会人士是一股不可忽视的势力，每一次社会动荡及革命，他们都是被利用和倚重的最主要的力量。
当时上海底层主要有两大帮会势力。一是黄金荣（1867~1953）。他是虞洽卿的宁波同乡，此人从光绪十八年（1892年）起任法租界巡捕房包探，后升探目、督察员，直至警务处唯一的华人督察长。他自立黄门，招募弟子过千人，操纵上海滩的鸦片、赌博等黑色生意，是名声最大的“流氓大亨”。二是杜月笙（1888~1951）。他出生于上海浦东，在十六铺水果行当学徒，后入青帮渐成老大。他开赌场、运鸦片，笼络数千门徒，还以豪爽疏财出名，广结名流，连大学者章太炎、名士杨度、名角梅兰芳都与之私交甚笃。
跟黄金荣、杜月笙二人相比，虞洽卿则是一个正经商人。他深谙在乱世之中，“枪杆子里面出真道理”。于是，在倡议成立华商公议会之后，他顺势提出创办“华商体操会”，组成一个自卫的武装力量以保护华商在租界的利益。此议经他奔走呼吁，竟也得通过。“体操会”的成立让虞洽卿拥有了一支自己的武装组织，这使得他不但在商场和官场上平添了新的话语权，更让他在与黄金荣和杜月笙的交际中，腰板又硬朗几分。此三人用不同的方式，在看上去莺歌燕舞，实质上暗潮汹涌的上海滩各自控制着一股黑色的势力。虞洽卿自此以“一品百姓”自居，他见朝廷官员时必穿西装，见洋人时则一身对襟大衫，见商贾同人和帮会兄弟时，则西装、长衫或道台顶戴按需轮换，从容行走于各色人等中，宛若一条游走自如的“变色大龙”。
虞洽卿与清廷诸多大臣关系密切，特别是跟皇亲爱新觉罗·载洙、南洋大臣端方私交甚笃。他曾为北洋新军采购军装，很是赚了一