大模型向长文本进军，40万token只是开始

大模型正在以惊人的速度提升其处理长文本的能力。从最初的4000 token到现在的40万token,长文本能力已成为大模型公司展示技术实力的新标准。

国际上,主要玩家如OpenAI、Anthropic等纷纷提升了模型的上下文长度。国内,一些新兴公司也在这个赛道上奋起直追。据了解,目前已有一大批顶级大模型公司和研究机构将拓展上下文长度作为技术升级的重点。

这些公司都备受资本青睐。OpenAI获得近120亿美元融资,Anthropic估值可能达300亿美元,国内新兴公司月之暗面短短半年估值已超3亿美元。

大模型公司为何如此热衷于攻克长文本技术?表面上看,这意味着模型可以处理更长的输入文本,阅读能力大幅提升。更深层的原因在于,长文本技术可以推动大模型在金融、法律、科研等专业领域的应用落地。

然而,并非文本长度越长模型效果就越好。研究表明,关键在于模型如何高效地利用上下文信息。目前业界对文本长度的探索还远未触及"临界点",40万token可能只是一个开始。

长文本技术的突破可以解决大模型早期面临的一些问题,如虚拟角色遗忘信息、专业领域分析不足等。它也是推动产业应用落地的关键技术之一,标志着大模型进入了从LLM到Long LLM的新阶段。

长文本技术使得对话机器人能够实现更专业化、个性化、深度化的功能,如超长文本分析、代码生成、角色扮演等。这为开发下一代超级APP提供了可能。

然而,长文本技术面临"不可能三角"困境:文本长度、注意力和算力三者难以兼顾。主要原因在于Transformer结构中自注意力机制的计算量随上下文长度呈平方级增长。

业界目前主要通过三种方案应对:借助外部工具辅助处理、优化自注意力计算、对模型进行优化。每种方案都有其优缺点,大模型公司需要在三者之间寻找平衡点。

总的来说,长文本技术的突破为大模型开辟了新的发展方向,但仍面临诸多挑战。未来的发展将围绕如何在保证模型性能的同时,高效处理超长文本展开。