推广 热搜: 郝金玉  石勇  侯计香  张文泉  振兴小镇  戎子酒庄  吴沪先  河南省晋商会  ___  冯南垣 

内部员工发警告信,对OpenAI技术安全质疑加剧

   发布时间:2024-06-07 15:08     来源:财经杂志    浏览:298    
核心提示:美国西部时间6月4日,明星AI创业公司OpenAI、谷歌DeepMind的一批员工联合发布了一份名为《对先进人工智能发出警告》的公开信。公
中国晋商俱乐部致力于建设服务创新型商业化晋商生态 | 主办全球晋商年度峰会“晋商年会”与“晋商国际论坛”

美国西部时间6月4日,明星AI创业公司OpenAI、谷歌DeepMind的一批员工联合发布了一份名为《对先进人工智能发出警告》的公开信。

公开信预警,人工智能技术存在加剧不平等,操纵和误导信息,失去控制并威胁人类的风险。人工智能公司技术迭代的同时产生了大量安全相关的非公开信息,它们没有主动披露的动机。监管部门对此难以形成有效制约,只能由现任或前任员工要求它们向公众负责。

上述员工在公开信中对包括OpenAI在内的人工智能公司提出了四点呼吁:其一,不强迫员工签订禁止批评公司的协议;其二,为公司现任和前任员工提供匿名的安全反馈机制;其三,允许现任和前任员工向董事会、监管机构、其他安全机构提出对公司技术安全的担忧;其四,公司不对公开分享风险相关机密信息的现任和前任员工进行报复。

微信图片_20240607151000

(来源:《对先进人工智能发出警告》的公开信)

这封公开信是对OpenAI强迫员工签署“不同意非贬低协议”以及安全团队核心员工接连离职的反应(详见《财经》5月25日文章《OpenAI再爆信任危机,安全团队核心人员离职》)。OpenAI的“不同意非贬低协议”,也被称为“封口协议”。它指的是禁止离职员工发表对公司负面言论,否则公司可以收回员工已有股权。离职员工也不得对外公开这些协议内容。

OpenA创立于2015年,是一家非营利性的研究组织。它的核心研究目标之一是AGI(具备与人类同等智能,或超越人类的人工智能)。2019年萨姆·奥尔特曼 (Sam Altman)成为公司CEO。由于缺少研究经费,奥尔特曼在当时改变了OpenAI的组织架构——在非营利公司下设置了有“利润上限”的可营利子公司。OpenAI的商业化因此加速。

OpenAI承诺要发展“安全且有益的AGI”。但一些安全团队成员认为,OpenAI技术研发、商业变现过于激进,与其初衷已经背道而驰。

随着人工智能加速爆发,OpenAI的技术伦理引发了从业者的质疑。如果遵循这些质疑,OpenAI应该放慢技术研发、商业变现的步伐,加大技术安全的投入。然而,另一派观点认为,OpenAI没有违反法律法规,企业数据安全、个人隐私安全的保护举措也相对完善。因此,对OpenAI提出更高的安全要求不合理。这些质疑超前且奢侈。

安全质疑不断

2024年4月以来,OpenAI多次被前员工公开指责对安全问题重视不够。

4月,OpenAI前员工爆料,该公司要求离职员工签署“不同意非贬低协议”——该协议禁止离职员工发表对公司的负面言论,否则公司可以收回员工价值数百万甚至上千万美元的已有股权。离职员工也不得公开这些协议内容。这引发了舆论风波,OpenAI受到广泛批评。

5月中旬,OpenAI的超对齐团队因为核心员工离职而被解散。超对齐团队核心成员之一简·雷克(Jan Leike)离职后在社交媒体上表示,“过去几年,OpenAI的安全文化和流程已让位于光鲜的产品”。5月OpenAI前董事会成员海伦·托纳(Helen Toner)和塔莎·麦考利(Tasha McCauley)联合撰文称,OpenAI的安全自治机制在巨大的利润诱惑下会失效。

“超对齐”指的是用技术引导、控制AI,让AI系统的行为与人类社会价值观、利益保持一致。2023年7月超对齐团队成立时,OpenAI认为超级智能将在十年内降临,超对齐团队计划用四年时间解决相关安全问题。按照OpenAI的原计划,公司20%的算力资源要用于这项工作。但公司并没有兑现承诺。这导致了安全专家的不满。他们认为公司激进推动AI技术,对安全问题不够重视。超对齐团队原本是OpenAI的三大安全部门之一。目前OpenAI内不再有专门的团队负责超对齐任务,相关职责由其他部门成员以松散的研究小组形式行使。

面对上述争议,奥尔特曼曾在5月19日公开回应公司正在改变相关不合理协议条款。他还重申了公司对技术安全的重视。5月22日OpenAI公布了正在实施的十大安全措施:模型测试与评估、持续的安全与对齐研究、监控模型滥用行为、模型全生命周期的安全措施、保护儿童、选举安全、影响评估和政策分析、隐私安全与访问控制、与政府合作、安全决策与董事会监督。

OpenAI还和谷歌、亚马逊、微软等16家公司做出自愿承诺,保证在开发最前沿的AI技术时注重安全。如果发现某些极端风险无法控制,它们会停止AI模型的开发。

5月28日,OpenAI宣布在董事会成立安全与保障委员会,计划用90天时间评估公司的安全流程。90天后,委员会的安全建议会逐步落地。但该委员会由包括奥尔特曼在内的3位领导人负责,10位成员中仅有两位外部安全专家。

一种声音认为,OpenAI技术全球领先,它很可能是第一家实现AGI的公司。因此不应该仅仅以商业公司的标准要求它,它应该从态度到行动都对安全问题更谨慎。

2015年成立之初,“非营利组织”的OpenAI曾明确安全优先的技术发展准则。2019年是OpenAI从非营利研究组织转向商业化公司的开端。那年萨姆·奥尔特曼 (Sam Altman)成为OpenAI首席执行官,他在公司非营利性主体下设置了有“利润上限”的营利子公司,并开始接受外部投资。

随着设置营利子公司,引入投资人,发布新产品,加速商业化,OpenAI非营利组织的性质在改变,它正在逐渐成为一家商业公司。

一位国内大模型厂商人士解释,OpenAI中的一派希望公司投入更多资源确保AI安全可控。他们提出的超对齐方案并非单一技术,而是一套系统工程。这需要从数据拣选、模型训练、参数调整、智能体监督等方面入手,会分散公司的算力、研发、人力资源。但奥尔特曼属于另一派,他希望优先发展先进的AI技术,兼顾技术安全。

一家中国人工智能基础软件供应商的创始人曾表示,OpenAI现在必须考虑商业化的问题。它只能将有限的资源用于提高产品和技术的竞争力,实现模型突破,才能给市场、投资者带来信心。安全问题成了OpenAI技术迭代和商业变现的阻碍。

商业化进程加速

2022年11月,OpenAI推出ChatGPT。两个月后,其用户突破一亿。经过一年多的探索,OpenAI的商业策略已经逐渐清晰——通过免费应用吸引客户,面向个人用户和协作团队收取会员费,面向机构客户提供API(接口)调用服务。目前,OpenAI在销售、财务、人力资源等企业场景已有落地案例。

2023年11月,OpenAI公布称,每周有1亿人使用ChatGPT。2024年4月,OpenAI披露,有超过60万用户注册使用ChatGPT企业版。

OpenAI虽然技术领先,但始终面临来自竞争对手的穷追猛打。2023年12月以来,谷歌、AI明星初创企业Anthropic和Mistral AI等接连升级大模型产品,OpenAI的技术优势正在缩小。其他知名AI创业公司也在不断获得融资。

微信图片_20240607151008

2023年12月,媒体报道OpenAI在以超过1000亿美元的估值进行融资。但在2024年2月-4月,OpenAI与投资人谈判,以860亿美元估值回购员工股票。目前,OpenAI 最新融资信息仍未披露进展。

为了加速商业化,OpenAI组建了约200人的销售、技术团队。有媒体报道,OpenAI 2024年底收入将超过20亿美元,2025年营收将超过40亿美元。

但这与大模型技术研发、算力投入成本相比,仍是杯水车薪。此前微软已向OpenAI投资超过130亿美元。2024年3月底,媒体报道OpenAI与微软计划投资1000亿美元打造数据中心,以满足生成式AI技术发展对算力的要求。投资人愿意持续重金押注OpenAI的原因在于,它是本轮AI浪潮中的领军企业。只有保持产品技术的领先,它才对投资人有持续的吸引力。

OpenAI在2024年5月后加速了商业化进程。一个普遍的观点是,OpenAI的发展路径是,拓展更多用户,让公司获得更高的估值和融资,进而持续迭代产品技术,并率先实现AGI。

为进一步扩大用户群,OpenAI的产品开放策略更激进了。5月14日,OpenAI免费向所有人开放了有使用限制的新一代旗舰模型GPT-4o。还免费开放了搜索联网、文档上传与分析总结、数据分析、GPT商店等能力。此前OpenAI还取消了必须注册才能使用ChatGPT的限制。

为了获得优质训练数据,扫除公司大模型研发领域的合规障碍,2024年5月以来OpenAI接连宣布与社交论坛Riddet、新闻集团(旗下包括《华尔街日报》《纽约邮报》《泰晤士报》《太阳报》等媒体)、Vox传媒、《大西洋月刊》等内容平台达成合作协议。

OpenAI还在拓展合作伙伴生态。5月30日普华永道成为OpenAI最大企业客户和首个经销商。普华永道是四大会计师事务所之一,该公司内部已确定3000多个生成式AI的用例。

5月28日,OpenAI宣布已开始训练下一代旗舰模型,并预计这将离AGI技术更近一步。

 

投诉邮箱:tougao@shanxishangren.com
 
更多>同类晋商资讯

鹏飞集团·郑鹏【中国晋商俱乐部名誉主席】 振东制药·李安平【中国晋商俱乐部荣誉理事长】 潞宝集团·韩长安【中国晋商俱乐部常务理事长】 聚义实业·王殿辉【中国晋商俱乐部常务理事长】 振兴小镇·牛扎根【中国晋商俱乐部常务理事长】 融德创世·郝金玉【中国晋商俱乐部常务理事长】
理事会企业动态
最新活动动态
优秀晋商资讯
推荐图文
推荐晋商资讯
点击排行
网站首页  |  京ICP备13017153号 |  网站地图  |  联系方式