谷歌对抗DALL·E 3：Imagen 3文生图模型强势登场

近日消息，科技圈传来重磅消息，为了应对即将到来的 DALL·E 3 模型挑战，谷歌公司近日正式宣布，其强大的图片生成模型 Imagen 3 已经圆满结束公开测试阶段，并正式投入运营。

据介绍，Imagen 3 号称是谷歌最高级的文生图模型，该模型已于今年 8 月在美国向用户开放，而目前订阅了 Google Cloud 的用户均可以体验这款模型。

谷歌声称，Imagen 3 可以理解长文本内容，生成细腻、生动且“照片级”的图片，同时视频中也不会出现较明显的视觉噪点。

谷歌还为 Imagen 3 开放了图片编辑和定制化功能，图片编辑功能包括“使用提示词替换 AI 生成的图片中元素”；定制化功能则允许用户在生成图片时自由添加品牌 Logo、文字内容等。

为了避免 AI 生成内容引发版权争议，谷歌在 Imagen 3 中引入了多项安全技术，包括由 DeepMind 开发的 SynthID 数字水印、安全过滤器，确保相应生成内容不会引发版权纠纷。

Transformer架构新飞跃：谷歌技术革新实现长文高效处理，内存消耗剧减至原需1/47

近日消息，有报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。

Transformer 架构简介

Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。

Transformer 的核心是自注意力机制，允许模型在处理输入序列时捕捉词与词之间的关系，让模型能够关注输入序列中的所有部分，而不仅仅是局部信息。

Transformer 由多个编码器和解码器组成。编码器负责理解输入数据，而解码器则生成输出。多头自注意力机制使模型能够并行处理信息，提高了效率和准确性。

Transformer 架构模型挑战

Transformer 架构的一大挑战是它们在处理长文本序列时效率低下，由于每个标记与序列中的每个其他标记都相互作用导致二次复杂度，这就导致随着上下文长度的增加，计算和内存需求呈指数增长。

现在解决这一问题的方法包括稀疏注意力机制（sparse attention mechanisms），它限制了标记之间的交互数量，以及通过总结过去信息来减少序列长度的上下文压缩技术。

不过这种方法是通过减少在注意力机制中考虑的标记数量达成的，因此通常以性能为代价，可能会导致上下文关键信息丢失。

谷歌新方法

谷歌研究的研究人员提出了一种名为选择性注意的新方法，可以动态忽略不再相关的标记，从而提高 Transformer 模型的效率。

选择性注意力使用软掩码矩阵来确定每个标记对未来标记的重要性，减少对不重要标记的关注。

研究表明，配备选择性注意的 Transformer 架构模型在多个自然语言处理任务中表现出色，同时显著降低了内存使用和计算成本。

例如，在拥有 1 亿参数的 Transformer 模型中，注意力模块的内存需求在上下文大小为 512、1024 和 2048 个 tokens 时分别减少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基准测试中也优于传统 Transformer，对于较大的模型规模实现了高达 5% 的准确率提升。

选择性注意力允许构建更小、更高效的模型，在不损害准确性的情况下，显著减少内存需求。