中国近代的第一个商会，诞生于民族的危难之中。
1901年，经历了八国联军严重打击的清王朝深陷内政、外交、财政、经济的全面困境，为了挽救其摇摇欲坠的统治，提出了振兴实业的政策，但绅商领袖和商务官员们之间都缺少联络，难以适应对外商战的急剧升级，也不利于商业迅速的兴起。于是，寻求一种规模更大，功能更全，能包涵全体工商界的组织形式，便成为那些先进绅商和商务官员们的共同意向。清政府的商务大臣盛宣怀指出：“华商虽有各商帮组织，但互分畛域，各行其是，每当与洋商交易往来，总不能相敌。”于是建立中国的商会便再次被提上了议事日程。
据资料显示，中国商会诞生的契机，来自于1902年清政府委派商务大臣吕海寰和盛宣怀与英国、美国、日本、葡萄牙等国代表，在上海进行的一次修订商约谈判。当英国谈判代表马凯在来华之前，就征求了英国商会的意见；到了香港之后，通过香港英商商会提出了许多建议，要求向中国政府索取更多的权益；到上海后，上海的洋商商会为了能够给他们的谈判代表提供详细的咨询和具体的要求，在谈判开始之前就做了仔细的调查研究。
得到商会密切配合的马凯，在谈判正式开始前就向中方代表提出了2条一揽子方案，先发制人，给中方代表一个下马威，在谈判中处于事事占先的优势地位。中方则因无商会协助，一般商人平时对涉外商务问题又没有什么研究，即使有所建议也缺少汇集沟通的渠道，因此无从咨询，处于毫无准备的状态。
面对此种情况，盛宣怀马上意识到把中国商人组织起来成立商会，以此作为谈判后援力量的重要性。他立即上奏朝廷，提出要以创设商会为人手要端。在获得朝廷批准之后，他命令上海江海关道台袁树勋会同绅商领袖严信厚，立即召集各大商帮董事设立总（商）会，并对有关谈判事项详加讨论，提出方案，以备采用。
上海各业商帮董事对此完全赞同，积极拥护。负责筹办此事的严信厚表示，设立商会是当今切要之图，极愿效力，并自垫经费租屋购物，设立会所。其他绅商也纷纷表示，为此事出力责无旁贷。于是上海商业会议公所，应商战之需，仿照日本商业会议所（即日本的商会）的模式，联合各业商帮组织和某些大企业的代表，于1902年2月22日正式成立。此后，也有其他少数省份仿照上海成立了商业会议公所。
上海等商业会议公所虽然还很不完善，但它已初步具备了商会的组织特征和功能，又与后来的商会建设有着继承关系，因此可以说是一种商会的雏形。
但是，上海商业会议公所成立之后，在组织上处于比较松散的状态，也带有较浓的官方机构色彩；在实际作用上，除了为商约谈判提供咨询和出谋划策，沟通官商关系外，在振兴商务上并无多少实质性的建树，因而社会舆论评论它是拖拖沓沓，没有紧迫感，办事效力不高，责任性不强。因此，商业会议公所仍然不能起到领导广大商人对内振兴商业，对外奋力商战的作用。
与此同时，清政府的商部在1903年9月成立之后，在推行振兴工商政策中遇到了不少来自地方官吏拒不执行、托延应付等障碍。这不仅使商部的振兴实业政策难以贯彻，而且办事多受掣肘，从而试图越过地方官府，直接与各地工商界联系，改变办事无从措手的局面。但是要与工商界联系，必须先把工商界组织起来，于是建立能把工商界统一起来的商会，便成了商部振兴工商事业的必要途径和重要内容之一。商部向朝廷上奏说：纵览东西洋各国，外交贸易，无不以商战取胜，达到富强，究其原因，实皆得力于商会。有鉴于此，中国欲振兴商务，战胜外商，也必须模仿外国设立自己的商会。1904年1月，商部奏准朝廷颁布《奏定商会简明章程二十六条》，正式向全国商人发出了建立商会的号召。
此时，一些工商业比较发达的通商大埠的商人已经有了比较迫切的建立商会的要求，商部劝办商会的通告一下，便很快得到商人的响应。上海各业商帮组织的董事对商部的通告表示竭力拥护，认为设立商会，能像洋商商会那样，把中国商人联为一体，兴办实业，是一大好事。他们立即按照商部颁布的章程，在1904年5月将商业会议公所正式改组为上海商务总会。这也是中国的第一个正式商会，后人常称之为“中国第一商会”，既指其设立时间为全国第一，也指其势力和影响为全国之最。
