谷歌重磅新作PaLI-3：视觉语言新模型！更小、更快、更强
在多模态（视觉语言）大模型领域，拼参数赢性能的同时，追求参数更小、速度更快、性能更强是另一条研究路径。
在大模型时代，视觉语言模型（vlm）的参数已经扩展到了数百甚至数千亿，使得性能持续增加。与此同时，更小规模的模型仍然很重要，它们更易于训练和服务，更加环境友好，并为模型设计提供更快的研究周期。
在该领域，谷歌研究院在去年推出了一个名为 pali（pathways language and image）的模型。作为一个多模态大模型，pali 的关键结构之一是复用大型单模态基干进行语言和视觉建模，在语言方面复用 13b 参数的 mt5-xxl，在视觉方面复用 2b 参数的 vit-g 和 4b 参数的 vit-e。当时 pali 实现了优于多数新旧模型的性能。
此后谷歌继续专注于更小规模的建模，并于近日提出 pali-3，这是 pali 系列的第三代模型。通过一个仅有 5b 参数的预训练基线模型，他们优化了训练方法，并在多个 vlm 基准上实现了有竞争力以及新的 sota 结果。
该方法主要由三部分组成，分别是在 web 规模的图像文本数据上对图像编码器的对比预训练、用于 pali 多模态训练的改进后的混合数据集，以及更高分辨率的训练。
作者来自谷歌研究院、谷歌deepmind和谷歌云。
论文地址：https://arxiv.org/abs/2310.09199
下图为 5b pali-3 模型概览，其中通过对比预训练的 2b siglip 视觉模型，图像被单独地编码成了视觉 token。接着与 query 一起，这些视觉 token 被传递给了 3b 编码器 - 解码器结构的 ul2 transformer，它生成了预期答案。在这样的设置下，与之前 pali 模型中单个分类预训练的模型，对比预训练的模型提供了明显更有用的 token。
效果怎么样呢？pali-3 在需要视觉定位文本理解和目标定位的任务上实现了新的 sota，包括 refcoco 数据集上的 8 个视觉定位文本理解任务和参考表达分割任务。pali-3 也在一系列分类视觉任务上有出色的表现。
此外研究者还专门做了消融实验以与分类预训练的 vit 基线模型比较，并进一步确认了预训练视觉编码器在有噪声 web 规模的图像文本数据上的可行性，从而成为在分类数据上进行训练的优先替代方案。
除了 5b pali-3 模型之外，研究者还利用最近提出的 siglip 方法，构建了一个参数扩展到 2b 的 sota 多语言对比视觉模型。
模型介绍
架构
在更高的层面，pali-3 的架构遵循了 chen et al. （2023b;a）：vit 模型将图像编码为 token，并与问题、提示和指令等文本输入一起被传递到编码器 - 解码器结构的 transformer，从而生成文本输出。
先看视觉组件。研究者使用 siglip 训练方法，从对比预训练的 vit-g/14 模型（参数约为 2b）初始化出 pali-3 的视觉基干。简而言之，他们训练了图像嵌入 vit-g/14 模型和文本嵌入 transformer 模型来分别嵌入图像和文本，这样一来，使用图像和文本嵌入点积的 sigmoid 交叉熵的二元分类器，能够准确地分类各自的图像和文本是否相互对应。
这类似于 clip 和 align，但更加高效、可扩展和稳健。同时这种方法是为了预训练 vit 图像嵌入组件，因此当将 vit 插入到 pali 时，文本嵌入 transformer 会被丢弃。
再来看完整的 pali 模型。vit 图像编码器的输出在池化之前形成了视觉 token，并线性地映射和添加到嵌入的输入文本 token。接着这些 token 被传递到了预训练的 3b ul2 编码器 - 解码器模型，从而生成文本输出。该模型的文本输入通常包含有描述任务类型的提示，并为该任务编码必要的文本输入。
训练
训练过程包含多个阶段。
阶段 0：单峰预训练。图像编码器按照 siglip 训练协议，图像编码器的训练分辨率为 224×224 ；文本编码器 - 解码器是一个 3b ul2 模型，按照 tay 等人描述的混合降噪程序进行训练。
阶段 1：多模态训练。将图像编码器与文本编码器 - 解码器相结合，然后，将这个组合得到的 pali 模型在多模态任务和数据上进行训练，此时，图像编码器保持冻结，分辨率还是 224×224。通过对文本质量进行启发式过滤，并使用 splitcap 训练目标，再次从 webli 数据集派生出主要的混合组件。
阶段 2：提升分辨率。高分辨率输入是一种被广泛接受的提高性能的方法，这既是因为可以感知图像中的更多细节，也是因为通过增加序列长度来提高模型能力。本文通过解冻图像编码器来提高 pali-3 的分辨率，将检查点保持在 812×812 和 1064×1064 分辨率。
任务迁移。最后，对于每个单独的任务（基准），本文使用冻结的 vit 图像编码器在任务的训练数据上微调 pali-3 模型；对于大多数任务，本文微调 812×812 分辨率检查点，但对于两个文档理解任务，本文将分辨率提高到 1064×1064。
实验及结果
实验首先比较了在 pali 框架下不同 vit 模型的结果对比，研究者考虑了两种 vit 模型：classif 和 siglip。
结果如表 1 所示，表明虽然 siglip 模型的少样本线性分类有些落后，但通过使用 pali-3，siglip 模型在更简单的任务上（例如字幕和问答）提供了适度的增益，并且在更复杂的场景即文本和空间理解任务上取得了巨大增益。
此外，研究者还在 textcaps、textvqa、stvqa、ocrvqa、infographicvqa、docvqa、chartqa、scree2words、 widgetcap 数据集上评估了 pali-3。结果如表 2 所示，在使用外部 ocr 系统的情况下，pali-3 仅比 sota 方法低 0.7 分。然而，在没有这种外部系统的情况下，pali-3 比所有 sota 方法的组合高出 4.4 分。对于 textcaps、textvqa、infographicvqa 和 docvqa，pali-3 的优势超多 8 分甚至更多。
参考表达分割
研究者扩展了 pali-3，使其能够通过类语言输出来预测分割掩码。为此，他们利用了 ning et al. （2023） 的向量量化变分自编码器（vq-vae）。vq-vae 经过训练可以学习 128 个掩码 token，其编码器可以将 64 × 64 像素的分割掩码标记为 16 个掩码 token，解码器可以转换回来。
研究者训练 pali-3 来预测单个分割掩码，首先输出 4 个坐标作为文本，并表示为边界框。接着是 16 个掩码 token，表示边界框内的掩码。
表 1 表明对于此类定位任务，对比预训练比分类预训练更有效。下表 3 显示，完整的 pali-3 模型在参考表达分割方面略微优于现有技术。
图像理解
接下来研究者在一般视觉语言理解任务上评估了 pali-3。与之前的工作一样，他们没有使用外部 ocr 模块，因为这些基准测试很少涉及图像中的文本。
结果表明，与最近的 sota 模型相比，pali-3 的尺寸要小得多，但它在这些基准测试中表现出了非常强大的性能。对于 coco，pali-3 优于除 beit-3 以及 17b 和 55b pali 之外的所有模型。在 vqav2 和 tallyqa 上，pali-3 超过了除 pali-x 之外的所有先前模型。对于 okvqa 任务，pali-3 仅落后于 palm-e （562b） 和 pali-x （55b），但仍然优于 32-shot flamingo （80b） 模型。
视频字幕和问答
该研究在 4 个视频字幕基准上对 pali-3 模型进行了微调和评估：msr-vtt、vatex、activitynet captions 和 spoken moments in time。此外，该研究在 3 个视频问答基准上进行了同样的操作：next-qa、msr-vtt-qa 和 activitynet-qa。
尽管没有使用视频数据进行预训练，pali-3 仍以较小的模型尺寸实现了出色的视频 qa 结果：在 msr-vtt-qa 和 activitynet-qa 上实现了最先进的性能，并在 nextqa 上取得了具有竞争力的结果。在图像和视频 qa 上的持续改进凸显了采用对比 vit 的好处。
此外，pali-3 还取得了非常好的视频字幕结果，平均仅比 sota 结果低 3 个 cider 点。考虑到模型尺寸，pali-3 在性能和实用性方面似乎都是一个绝佳的选择。
直接图像编码器评估
研究者还评估了 vit-g 模型，vit-g 可以理解为不是完整的 pali-3，结果如表 6 所示。
首先，该研究使用标准的 imagenet 基准测试及其两个最流行的变体来测试图像分类功能。结果表明，siglip 在 top-1 和 v2 准确率方面略有落后，但在 real 方面结果相当。
其次，该研究报告了不同模型在 crossmodal-3600 基准上的结果。结果表明 siglip vit-g 模型明显优于较大的 vit-e 模型。
最后，该研究还报告了线性 probing 结果，结果表明 siglip 不及其他模型。
表 7 和表 8 评估了模型的公平性、偏差和其他潜在问题。
关于零延迟+无延迟的VR体验介绍
线路板三防漆在使用过程中应注意的问题与细节
基于现有成功案例的新型飞行时间传感器
三星计划基于GAA技术批量生产业界首批半导体
人工智能融入敏捷项目会有哪一些好处
谷歌重磅新作PaLI-3：视觉语言新模型！更小、更快、更强
物联网企业纵行科技当选为全国工商联物联网委员会成员
MOS管的开关特性
红魔5G游戏手机跑分曝光，144Hz电竞屏加持大电池畅快游戏
科学智能除甲醛的好方法
下一代网络会有哪一些可能出现
笔记本电池使用和节能技巧集中突破
汽车与信息产业融合成就汽车创新时代
dfrobot自锁按钮模块简介
使用深度学习融合各种来源的信息
PCB电路设计中的常见问题
喷涂机器人企业怎样去发展
一言不合就搞混？“爽翻天”的USB3.1究竟是什么？
工业物联网面临风险的三大原因
[图文]声控电灯
在大模型时代，视觉语言模型（vlm）的参数已经扩展到了数百甚至数千亿，使得性能持续增加。与此同时，更小规模的模型仍然很重要，它们更易于训练和服务，更加环境友好，并为模型设计提供更快的研究周期。
在该领域，谷歌研究院在去年推出了一个名为 pali（pathways language and image）的模型。作为一个多模态大模型，pali 的关键结构之一是复用大型单模态基干进行语言和视觉建模，在语言方面复用 13b 参数的 mt5-xxl，在视觉方面复用 2b 参数的 vit-g 和 4b 参数的 vit-e。当时 pali 实现了优于多数新旧模型的性能。
此后谷歌继续专注于更小规模的建模，并于近日提出 pali-3，这是 pali 系列的第三代模型。通过一个仅有 5b 参数的预训练基线模型，他们优化了训练方法，并在多个 vlm 基准上实现了有竞争力以及新的 sota 结果。
该方法主要由三部分组成，分别是在 web 规模的图像文本数据上对图像编码器的对比预训练、用于 pali 多模态训练的改进后的混合数据集，以及更高分辨率的训练。
作者来自谷歌研究院、谷歌deepmind和谷歌云。
论文地址：https://arxiv.org/abs/2310.09199
下图为 5b pali-3 模型概览，其中通过对比预训练的 2b siglip 视觉模型，图像被单独地编码成了视觉 token。接着与 query 一起，这些视觉 token 被传递给了 3b 编码器 - 解码器结构的 ul2 transformer，它生成了预期答案。在这样的设置下，与之前 pali 模型中单个分类预训练的模型，对比预训练的模型提供了明显更有用的 token。
效果怎么样呢？pali-3 在需要视觉定位文本理解和目标定位的任务上实现了新的 sota，包括 refcoco 数据集上的 8 个视觉定位文本理解任务和参考表达分割任务。pali-3 也在一系列分类视觉任务上有出色的表现。
此外研究者还专门做了消融实验以与分类预训练的 vit 基线模型比较，并进一步确认了预训练视觉编码器在有噪声 web 规模的图像文本数据上的可行性，从而成为在分类数据上进行训练的优先替代方案。
除了 5b pali-3 模型之外，研究者还利用最近提出的 siglip 方法，构建了一个参数扩展到 2b 的 sota 多语言对比视觉模型。
模型介绍
架构
在更高的层面，pali-3 的架构遵循了 chen et al. （2023b;a）：vit 模型将图像编码为 token，并与问题、提示和指令等文本输入一起被传递到编码器 - 解码器结构的 transformer，从而生成文本输出。
先看视觉组件。研究者使用 siglip 训练方法，从对比预训练的 vit-g/14 模型（参数约为 2b）初始化出 pali-3 的视觉基干。简而言之，他们训练了图像嵌入 vit-g/14 模型和文本嵌入 transformer 模型来分别嵌入图像和文本，这样一来，使用图像和文本嵌入点积的 sigmoid 交叉熵的二元分类器，能够准确地分类各自的图像和文本是否相互对应。
这类似于 clip 和 align，但更加高效、可扩展和稳健。同时这种方法是为了预训练 vit 图像嵌入组件，因此当将 vit 插入到 pali 时，文本嵌入 transformer 会被丢弃。
再来看完整的 pali 模型。vit 图像编码器的输出在池化之前形成了视觉 token，并线性地映射和添加到嵌入的输入文本 token。接着这些 token 被传递到了预训练的 3b ul2 编码器 - 解码器模型，从而生成文本输出。该模型的文本输入通常包含有描述任务类型的提示，并为该任务编码必要的文本输入。
训练
训练过程包含多个阶段。
阶段 0：单峰预训练。图像编码器按照 siglip 训练协议，图像编码器的训练分辨率为 224×224 ；文本编码器 - 解码器是一个 3b ul2 模型，按照 tay 等人描述的混合降噪程序进行训练。
阶段 1：多模态训练。将图像编码器与文本编码器 - 解码器相结合，然后，将这个组合得到的 pali 模型在多模态任务和数据上进行训练，此时，图像编码器保持冻结，分辨率还是 224×224。通过对文本质量进行启发式过滤，并使用 splitcap 训练目标，再次从 webli 数据集派生出主要的混合组件。
阶段 2：提升分辨率。高分辨率输入是一种被广泛接受的提高性能的方法，这既是因为可以感知图像中的更多细节，也是因为通过增加序列长度来提高模型能力。本文通过解冻图像编码器来提高 pali-3 的分辨率，将检查点保持在 812×812 和 1064×1064 分辨率。
任务迁移。最后，对于每个单独的任务（基准），本文使用冻结的 vit 图像编码器在任务的训练数据上微调 pali-3 模型；对于大多数任务，本文微调 812×812 分辨率检查点，但对于两个文档理解任务，本文将分辨率提高到 1064×1064。
实验及结果
实验首先比较了在 pali 框架下不同 vit 模型的结果对比，研究者考虑了两种 vit 模型：classif 和 siglip。
结果如表 1 所示，表明虽然 siglip 模型的少样本线性分类有些落后，但通过使用 pali-3，siglip 模型在更简单的任务上（例如字幕和问答）提供了适度的增益，并且在更复杂的场景即文本和空间理解任务上取得了巨大增益。
此外，研究者还在 textcaps、textvqa、stvqa、ocrvqa、infographicvqa、docvqa、chartqa、scree2words、 widgetcap 数据集上评估了 pali-3。结果如表 2 所示，在使用外部 ocr 系统的情况下，pali-3 仅比 sota 方法低 0.7 分。然而，在没有这种外部系统的情况下，pali-3 比所有 sota 方法的组合高出 4.4 分。对于 textcaps、textvqa、infographicvqa 和 docvqa，pali-3 的优势超多 8 分甚至更多。
参考表达分割
研究者扩展了 pali-3，使其能够通过类语言输出来预测分割掩码。为此，他们利用了 ning et al. （2023） 的向量量化变分自编码器（vq-vae）。vq-vae 经过训练可以学习 128 个掩码 token，其编码器可以将 64 × 64 像素的分割掩码标记为 16 个掩码 token，解码器可以转换回来。
研究者训练 pali-3 来预测单个分割掩码，首先输出 4 个坐标作为文本，并表示为边界框。接着是 16 个掩码 token，表示边界框内的掩码。
表 1 表明对于此类定位任务，对比预训练比分类预训练更有效。下表 3 显示，完整的 pali-3 模型在参考表达分割方面略微优于现有技术。
图像理解
接下来研究者在一般视觉语言理解任务上评估了 pali-3。与之前的工作一样，他们没有使用外部 ocr 模块，因为这些基准测试很少涉及图像中的文本。
结果表明，与最近的 sota 模型相比，pali-3 的尺寸要小得多，但它在这些基准测试中表现出了非常强大的性能。对于 coco，pali-3 优于除 beit-3 以及 17b 和 55b pali 之外的所有模型。在 vqav2 和 tallyqa 上，pali-3 超过了除 pali-x 之外的所有先前模型。对于 okvqa 任务，pali-3 仅落后于 palm-e （562b） 和 pali-x （55b），但仍然优于 32-shot flamingo （80b） 模型。
视频字幕和问答
该研究在 4 个视频字幕基准上对 pali-3 模型进行了微调和评估：msr-vtt、vatex、activitynet captions 和 spoken moments in time。此外，该研究在 3 个视频问答基准上进行了同样的操作：next-qa、msr-vtt-qa 和 activitynet-qa。
尽管没有使用视频数据进行预训练，pali-3 仍以较小的模型尺寸实现了出色的视频 qa 结果：在 msr-vtt-qa 和 activitynet-qa 上实现了最先进的性能，并在 nextqa 上取得了具有竞争力的结果。在图像和视频 qa 上的持续改进凸显了采用对比 vit 的好处。
此外，pali-3 还取得了非常好的视频字幕结果，平均仅比 sota 结果低 3 个 cider 点。考虑到模型尺寸，pali-3 在性能和实用性方面似乎都是一个绝佳的选择。
直接图像编码器评估
研究者还评估了 vit-g 模型，vit-g 可以理解为不是完整的 pali-3，结果如表 6 所示。
首先，该研究使用标准的 imagenet 基准测试及其两个最流行的变体来测试图像分类功能。结果表明，siglip 在 top-1 和 v2 准确率方面略有落后，但在 real 方面结果相当。
其次，该研究报告了不同模型在 crossmodal-3600 基准上的结果。结果表明 siglip vit-g 模型明显优于较大的 vit-e 模型。
最后，该研究还报告了线性 probing 结果，结果表明 siglip 不及其他模型。
表 7 和表 8 评估了模型的公平性、偏差和其他潜在问题。
关于零延迟+无延迟的VR体验介绍
线路板三防漆在使用过程中应注意的问题与细节
基于现有成功案例的新型飞行时间传感器
三星计划基于GAA技术批量生产业界首批半导体
人工智能融入敏捷项目会有哪一些好处
谷歌重磅新作PaLI-3：视觉语言新模型！更小、更快、更强
物联网企业纵行科技当选为全国工商联物联网委员会成员
MOS管的开关特性
红魔5G游戏手机跑分曝光，144Hz电竞屏加持大电池畅快游戏
科学智能除甲醛的好方法
下一代网络会有哪一些可能出现
笔记本电池使用和节能技巧集中突破
汽车与信息产业融合成就汽车创新时代
dfrobot自锁按钮模块简介
使用深度学习融合各种来源的信息
PCB电路设计中的常见问题
喷涂机器人企业怎样去发展
一言不合就搞混？“爽翻天”的USB3.1究竟是什么？
工业物联网面临风险的三大原因
[图文]声控电灯