Meta AI革新之作：大概念模型引领语言处理新时代

近年来，大型语言模型（LLMs）在自然语言处理（NLP）领域取得了重大突破，被广泛应用于文本生成、摘要提取以及自动问答等多种场景。尽管如此，这些模型所采用的逐字预测的 token 级处理方式，在捕捉和理解复杂上下文时显得力不从心，容易导致输出结果的不一致性。

同时，将 LLMs 应用于多语言和多模态环境时，其计算开销和数据依赖性问题也日益凸显。为了克服这些挑战，Meta AI 研发出一种创新的方法——大概念模型（LCMs），旨在提供更为高效和灵活的自然语言处理解决方案。

大概念模型（LCMs）代表了传统 LLM 架构的一次重要转变。它们引入了两个重大创新：首先，LCMs 在一个高维嵌入空间中进行建模，而不是依赖于离散的 tokens。这一嵌入空间被称为 SONAR，旨在支持200多种语言和多种模态，包括文本和语音，提供语言和模态无关的处理能力。其次，LCMs 的设计允许在语义层面上无缝过渡，能够在不同语言和模态之间实现强大的零 - shot 泛化能力。

在 LCMs 的核心，存在概念编码器和解码器，这些组件将输入句子映射到 SONAR 的嵌入空间，并将嵌入解码回自然语言或其他模态。这些组件的冻结设计确保了模块化，方便在不重训整个模型的情况下扩展新语言或模态。

技术细节方面，LCMs 采用了层次化架构，模仿人类的推理过程，从而提升了长篇内容的一致性，同时能够在不干扰整体上下文的情况下进行局部编辑。通过采用扩散模型，LCMs 在生成过程中表现出色，这些模型基于前面的嵌入预测下一个 SONAR 嵌入。实验中，采用了单塔和双塔两种架构，其中双塔架构在上下文编码和去噪上分开处理，提高了效率。

实验结果显示，基于扩散的双塔 LCM 在多个任务中展现了竞争力，如多语言摘要任务中，LCMs 在零 - shot 情况下的表现优于基线模型，证明了它们的适应能力。同时，LCMs 在处理较短序列时也表现出高效性和准确性，相关度量指标的显著提升印证了这一点。

Meta AI 的大概念模型为传统 token 级语言模型提供了一种有前途的替代方案，通过高维概念嵌入和模态无关的处理，解决了现有方法的一些关键局限。随着对这一架构研究的深入，LCMs 有望重新定义语言模型的能力，为 AI 驱动的沟通提供更具可扩展性和适应性的方法。

Meta革新AI助手体验：9月或将揭晓，名人声音融入智能交互新时代

近日消息，Meta公司正处在与多位知名演员及网络红人的深入协商阶段，计划为其人工智能产品增添一系列标志性语音选项。据悉，这一令人期待的创新功能有望在即将于今年9月举行的Meta Connect大会上首次公开，为用户带来全新交互体验。

Meta正与好莱坞顶级经纪公司接触，希望尽快达成协议。据悉，朱迪·丹奇、基冈·迈克尔·基和奥卡菲娜等多位明星可能会成为Meta AI产品的代言人。有报道称，这些名人声音将被用于一款名为"MetaAI"的数字助理产品中。

知情人士透露，Meta愿意为每位签约演员支付"数百万美元"的酬劳。这些合同据称是临时性的，演员可以在合同到期后选择是否续约。Meta计划在旗下社交平台如Facebook、Instagram，以及Meta Ray-Ban智能眼镜等产品中应用这些AI声音。

业内人士指出，与传统的名人语音导航不同，新一代AI技术在模仿人类声音方面取得了长足进步。如果Meta的AI助手能够实现与普通版本相同的功能，这种名人声音体验可能会更加自然和引人入胜。

截至发稿时，Meta尚未就此事作出官方回应。随着9月Meta Connect大会的临近，业界将密切关注Meta在AI领域的最新动向。