“通往AGI(通用人工智能)的话,长上下文会是一个很重要的点,从某种程度上看,所有问题都是上下文长度问题。”在今年2月末接受《每日经济新闻》记者采访时,AI创业公司月之暗面方面曾指出了突破长文本处理技术的重要意义。
3月18日,月之暗面宣布在大模型长上下文窗口技术上取得新的突破,其自研的Kimi智能助手已支持200万字超长无损上下文,并于今日开启产品内测。
在去年10月首次亮相时,Kimi智能助手可支持的无损上下文长度最多为20万汉字,是彼时大模型产品里所能支持的最长上下文输入长度。时隔五个月,月之暗面已将该产品的这一能力提升到了全新的数量级。
据了解,按OpenAI的计算标准,Kimi智能助手最初支持的20万汉字约为40万token(语言模型中用来表示最小文本单元),同期大模型Claude支持的最大长文本为10万token。今年2月27日,零一万物发布Yi大模型API,其中Yi-34B-Chat-200K支持处理约20万~30万个中英文字符。
同时,在国内AI产品中,Kimi智能助手的用户增速显著。“AI产品榜(aicpb.com)”统计的数据显示,Kimi智能助手在2024年2月的访问量达305万,1月的访问量达142万,连续两个月均仅次于文心一言和通义千问,在大模型创业公司产品中居于首位。
当大模型的无损上下文长度得以数量级提升,用户会有哪些全新的应用体验呢?
月之暗面介绍,上下文长度的提升也会进一步帮助用户打开对AI应用场景的想象力,包括完整代码库的分析理解、可以自主帮人类完成多步骤复杂任务的Agent(智能体)、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。
对于新升级后的模型能力,月之暗面用了一个可以量化的简单例子说明:过去要10000小时才能成为专家的领域,现在只需要10分钟,Kimi智能助手就能接近任何一个新领域的初级专家水平。
与此同时,指令遵循能力也是大模型的一大代表性涌现能力,和上下文学习能力有着密切的关系。
月之暗面方面此前对《每日经济新闻》记者表示,在投资机构和大厂的内部综合评测中,Kimi智能助手在理解和生成中文内容方面表现出色,“中文实力直追OpenAI”。
月之暗面方面表示,从产品推出以来的用户反馈来看,Kimi智能助手的多轮交互和超长指令遵循能力也是产品的一项核心优势。
《每日经济新闻》记者了解到,目前月之暗面团队超过80人,其中大部分是技术人员,团队规模还在持续扩大。
“正在造一架火箭,每天讨论往火箭里加什么燃料跑得更快。”在今年3月上旬的最新一轮招聘中,月之暗面在官方公众号这样写道。从20万汉字到200万汉字的模型能力提升,足可见,月之暗面正在向着大模型应用的“长文本时代”一路狂奔。