VisCPM：迈向多语言多模态大模型时代
随着 gpt-4 和 stable diffusion 等模型多模态能力的突飞猛进，多模态大模型已经成为大模型迈向通用人工智能（agi）目标的下一个前沿焦点。总体而言，面向图像和文本的多模态生成能力可以大致分为两类：
1. 在图生文（image-to-text generation）方面，以 gpt-4 为代表的多模态大模型，可以面向图像进行开放域对话和深度推理；
2. 在文生图（text-to-image generation）方面，以 stable diffusion 为代表的多模态模型，可以根据文本生成图像内容。由这些多模态模型掀起的 aigc 浪潮，广泛而深刻地改变着学术界和工业界的思想实践。
然而，目前多模态大模型的成功很大程度上局限于英文世界，而中文等其他非英语语言的多模态能力明显落后。这是因为相比于英文世界，中文等其他非英语语言的多模态数据严重稀缺，难以满足多模态大模型对大规模高质量图文对数据的需求。这些问题使得多语言多模态大模型的构建极具挑战性。
为了解决上述挑战，我们提出使用高资源语言（如英语）作为桥接图像信号和低资源语言（如中文）的桥梁，实现多语言多模态大模型能力的快速泛化，从而缓解对低资源语言下模态对齐数据（图文对数据）的依赖。
通过类比人类的学习过程，我们可以直观地理解该方法：人类学习者可以仅通过母语与视觉信号的对应关系，以及母语与不同语言之间的对应关系，自然地建立起不同语言下对视觉信号的统一认知。这是由于不同的自然语言符号系统，很大程度上都是以描述相同的客观世界为驱动力演化发展而来的，这为多语言多模态能力的快速泛化提供了基础。
为了验证上述方法，我们以中英双语的多模态大模型为例，构建了 viscpm 系列模型，建立中英双语的多模态对话能力（viscpm-chat 模型）和文到图生成能力（viscpm-paint 模型）。
在多语言对齐方面，我们选用百亿参数量的 cpm-bee 10b 作为基底语言模型。该模型优秀的中英双语能力，提供了多语言对齐的基础。在多模态对齐方面，我们为cpm-bee分别融合视觉编码器（q-former）和视觉解码器（diffusion-unet）以支持视觉信号的输入和输出。得益于 cpm-bee 基座优秀的双语能力，viscpm 可以仅通过英文多模态数据预训练，泛化实现优秀的中文多模态能力。
中英双语多模态对话模型viscpm-chat viscpm-chat 模型使用 q-former 作为视觉编码器，使用 cpm-bee（10b）作为语言基座模型，并通过语言建模训练目标融合视觉和语言模型。模型训练包括预训练和指令精调两阶段：
预训练：我们使用约 100m 高质量英文图文对数据对 viscpm-chat 进行了预训练，数据包括 cc3m、cc12m、coco、visual genome、laion 等。在预训练阶段，语言模型参数保持固定，仅更新q-former部分参数，以支持大规模视觉-语言表示的高效对齐。
指令精调：我们采用 llava-150k 英文指令精调数据，并混合相应翻译后的中文数据对模型进行指令精调，以对齐模型多模态基础能力和用户使用意图。在指令精调阶段，我们更新全部模型参数，以提升指令精调数据的利用效率。有趣的是，我们发现即使仅采用英文指令数据进行指令精调，模型也可以理解中文问题，但仅能用英文回答。这表明模型的多语言多模态能力已经得到良好的泛化。在指令精调阶段进一步加入少量中文翻译数据，可以将模型回复语言和用户问题语言对齐。
我们在 llava 标准英文测试集和翻译的中文测试集对模型进行了评测，该评测基准考察模型在开放域对话、图像细节描述、复杂推理方面的表现，并使用 gpt-4 进行打分。可以观察到，在不使用任何中文图文对预训练数据的情况下，viscpm-chat 在中文多模态能力方面取得了最佳的平均性能，在通用域对话和复杂推理表现出色，同时也表现出了不错的英文多模态能力。
在上述平衡的中英双语能力（viscpm-chat-balance）基础上，我们在预训练阶段额外加入 20m 清洗后的原生中文图文对数据和 120m 翻译到中文的图文对数据，可以实现中文多模态能力的进一步强化（viscpm-chat-zhplus）。
viscpm-chat 表现出令人印象深刻的图像理解能力，并能够在对话中运用世界知识和常识知识。例如在下图中，viscpm 能够识别染色的地图和人像，并正确理解出染色代表的不同含义。除此之外，viscpm-chat 还具有不错的中文特色能力，比如能用李白的诗描绘黄河的景象并作解读，在面对中秋月夜时还能用苏轼的《水调歌头》借景抒情。
中英双语文生图模型viscpm-paint
viscpm-paint 使用 cpm-bee（10b）作为文本编码器，使用 unet 作为图像解码器，并通过扩散模型训练目标融合语言和视觉模型。在训练过程中，语言模型参数始终保持固定。我们使用 stable diffusion 2.1 的 unet 参数初始化视觉解码器，并通过逐步解冻其中关键的桥接参数将其与语言模型融合。该模型在 laion 2b 英文图文对数据上进行了训练。
我们在标准图像生成测试集 mscoco 上采样了 3 万张图片，计算了常用评估图像生成指标 fid（fréchet inception distance）评估生成图片的质量。与 viscpm 类似，我们发现得益于 cpm-bee 的双语能力，viscpm-paint 可以仅通过英文图文对训练，泛化实现良好的中文文到图生成能力，达到中文开源模型的最佳效果。在中英平衡能力（viscpm-paint-balance）的基础上，通过进一步加入 20m 清洗后的原生中文图文对数据，以及 120m 翻译到中文的图文对数据，模型的中文文到图生成能力可以获得进一步提升（viscpm-paint-zhplus）。
viscpm-paint 模型中分别输入“海上生明月，天涯共此时，唯美风格，抽象风格”和“人闲桂花落，月静春山空”两条 prompts，生成了以下两张图片。可以看出，viscpm-paint 对中国特色意向也有较好的把握能力。
为了推动多模态大模型开源社区和相关研究领域的发展，我们将 viscpm 系列的所有模型免费开源（https://github.com/openbmb/viscpm），欢迎个人和研究用途自由使用。未来我们也会将 viscpm 整合到 huggingface 代码框架中，以及陆续完善安全模型、 支持快速网页部署、 支持模型量化功能、支持模型微调等功能，欢迎持续关注。
· ·
原文标题：viscpm：迈向多语言多模态大模型时代
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
毛利与颗数双低，后锂电池时代来临
iPod Shuffle介绍
DHT11的使用注意事项
有哪些热门的蓝牙耳机？2022热门蓝牙耳机推荐
这四个问题或将严重削弱物联网市场的潜力和未来
VisCPM：迈向多语言多模态大模型时代
企业对于物联网安全意识是否有所加强？又该如何应对呢？
使用车载安全气囊充气机爆管的优势
哪一个stream的内置方法不属于中间操作
代码重构的经验总结
小蚁智能后视镜领航版评测 性价比方面的表现是无可挑剔的
OPPO发布全链路色彩管理系统详解：支持10bit图片与视频拍摄，Find X3首发搭载
夏季的到来，我们该如何保养精密光纤激光打标机
促进现代服务业转型将取决于物联网？
换体DMA高速数据采集电路原理及其CPLD实现
如何破解AI超微光摄像机高速公路补光灯光污染难题
IBM V7000存储数据恢复案例
富士康：美国首家工厂将生产平板屏幕，并不是iPhone
由Java改为 Kotlin过程中遇到的坑
瑞萨面向电机控制应用推出性能卓越的RA8 MCU
1. 在图生文（image-to-text generation）方面，以 gpt-4 为代表的多模态大模型，可以面向图像进行开放域对话和深度推理；
2. 在文生图（text-to-image generation）方面，以 stable diffusion 为代表的多模态模型，可以根据文本生成图像内容。由这些多模态模型掀起的 aigc 浪潮，广泛而深刻地改变着学术界和工业界的思想实践。
然而，目前多模态大模型的成功很大程度上局限于英文世界，而中文等其他非英语语言的多模态能力明显落后。这是因为相比于英文世界，中文等其他非英语语言的多模态数据严重稀缺，难以满足多模态大模型对大规模高质量图文对数据的需求。这些问题使得多语言多模态大模型的构建极具挑战性。
为了解决上述挑战，我们提出使用高资源语言（如英语）作为桥接图像信号和低资源语言（如中文）的桥梁，实现多语言多模态大模型能力的快速泛化，从而缓解对低资源语言下模态对齐数据（图文对数据）的依赖。
通过类比人类的学习过程，我们可以直观地理解该方法：人类学习者可以仅通过母语与视觉信号的对应关系，以及母语与不同语言之间的对应关系，自然地建立起不同语言下对视觉信号的统一认知。这是由于不同的自然语言符号系统，很大程度上都是以描述相同的客观世界为驱动力演化发展而来的，这为多语言多模态能力的快速泛化提供了基础。
为了验证上述方法，我们以中英双语的多模态大模型为例，构建了 viscpm 系列模型，建立中英双语的多模态对话能力（viscpm-chat 模型）和文到图生成能力（viscpm-paint 模型）。
在多语言对齐方面，我们选用百亿参数量的 cpm-bee 10b 作为基底语言模型。该模型优秀的中英双语能力，提供了多语言对齐的基础。在多模态对齐方面，我们为cpm-bee分别融合视觉编码器（q-former）和视觉解码器（diffusion-unet）以支持视觉信号的输入和输出。得益于 cpm-bee 基座优秀的双语能力，viscpm 可以仅通过英文多模态数据预训练，泛化实现优秀的中文多模态能力。
中英双语多模态对话模型viscpm-chat viscpm-chat 模型使用 q-former 作为视觉编码器，使用 cpm-bee（10b）作为语言基座模型，并通过语言建模训练目标融合视觉和语言模型。模型训练包括预训练和指令精调两阶段：
预训练：我们使用约 100m 高质量英文图文对数据对 viscpm-chat 进行了预训练，数据包括 cc3m、cc12m、coco、visual genome、laion 等。在预训练阶段，语言模型参数保持固定，仅更新q-former部分参数，以支持大规模视觉-语言表示的高效对齐。
指令精调：我们采用 llava-150k 英文指令精调数据，并混合相应翻译后的中文数据对模型进行指令精调，以对齐模型多模态基础能力和用户使用意图。在指令精调阶段，我们更新全部模型参数，以提升指令精调数据的利用效率。有趣的是，我们发现即使仅采用英文指令数据进行指令精调，模型也可以理解中文问题，但仅能用英文回答。这表明模型的多语言多模态能力已经得到良好的泛化。在指令精调阶段进一步加入少量中文翻译数据，可以将模型回复语言和用户问题语言对齐。
我们在 llava 标准英文测试集和翻译的中文测试集对模型进行了评测，该评测基准考察模型在开放域对话、图像细节描述、复杂推理方面的表现，并使用 gpt-4 进行打分。可以观察到，在不使用任何中文图文对预训练数据的情况下，viscpm-chat 在中文多模态能力方面取得了最佳的平均性能，在通用域对话和复杂推理表现出色，同时也表现出了不错的英文多模态能力。
在上述平衡的中英双语能力（viscpm-chat-balance）基础上，我们在预训练阶段额外加入 20m 清洗后的原生中文图文对数据和 120m 翻译到中文的图文对数据，可以实现中文多模态能力的进一步强化（viscpm-chat-zhplus）。
viscpm-chat 表现出令人印象深刻的图像理解能力，并能够在对话中运用世界知识和常识知识。例如在下图中，viscpm 能够识别染色的地图和人像，并正确理解出染色代表的不同含义。除此之外，viscpm-chat 还具有不错的中文特色能力，比如能用李白的诗描绘黄河的景象并作解读，在面对中秋月夜时还能用苏轼的《水调歌头》借景抒情。
中英双语文生图模型viscpm-paint
viscpm-paint 使用 cpm-bee（10b）作为文本编码器，使用 unet 作为图像解码器，并通过扩散模型训练目标融合语言和视觉模型。在训练过程中，语言模型参数始终保持固定。我们使用 stable diffusion 2.1 的 unet 参数初始化视觉解码器，并通过逐步解冻其中关键的桥接参数将其与语言模型融合。该模型在 laion 2b 英文图文对数据上进行了训练。
我们在标准图像生成测试集 mscoco 上采样了 3 万张图片，计算了常用评估图像生成指标 fid（fréchet inception distance）评估生成图片的质量。与 viscpm 类似，我们发现得益于 cpm-bee 的双语能力，viscpm-paint 可以仅通过英文图文对训练，泛化实现良好的中文文到图生成能力，达到中文开源模型的最佳效果。在中英平衡能力（viscpm-paint-balance）的基础上，通过进一步加入 20m 清洗后的原生中文图文对数据，以及 120m 翻译到中文的图文对数据，模型的中文文到图生成能力可以获得进一步提升（viscpm-paint-zhplus）。
viscpm-paint 模型中分别输入“海上生明月，天涯共此时，唯美风格，抽象风格”和“人闲桂花落，月静春山空”两条 prompts，生成了以下两张图片。可以看出，viscpm-paint 对中国特色意向也有较好的把握能力。
为了推动多模态大模型开源社区和相关研究领域的发展，我们将 viscpm 系列的所有模型免费开源（https://github.com/openbmb/viscpm），欢迎个人和研究用途自由使用。未来我们也会将 viscpm 整合到 huggingface 代码框架中，以及陆续完善安全模型、 支持快速网页部署、 支持模型量化功能、支持模型微调等功能，欢迎持续关注。
· ·
原文标题：viscpm：迈向多语言多模态大模型时代
文章出处：【微信公众号：智能感知与物联网技术研究所】欢迎添加关注！文章转载请注明出处。
毛利与颗数双低，后锂电池时代来临
iPod Shuffle介绍
DHT11的使用注意事项
有哪些热门的蓝牙耳机？2022热门蓝牙耳机推荐
这四个问题或将严重削弱物联网市场的潜力和未来
VisCPM：迈向多语言多模态大模型时代
企业对于物联网安全意识是否有所加强？又该如何应对呢？
使用车载安全气囊充气机爆管的优势
哪一个stream的内置方法不属于中间操作
代码重构的经验总结
小蚁智能后视镜领航版评测 性价比方面的表现是无可挑剔的
OPPO发布全链路色彩管理系统详解：支持10bit图片与视频拍摄，Find X3首发搭载
夏季的到来，我们该如何保养精密光纤激光打标机
促进现代服务业转型将取决于物联网？
换体DMA高速数据采集电路原理及其CPLD实现
如何破解AI超微光摄像机高速公路补光灯光污染难题
IBM V7000存储数据恢复案例
富士康：美国首家工厂将生产平板屏幕，并不是iPhone
由Java改为 Kotlin过程中遇到的坑
瑞萨面向电机控制应用推出性能卓越的RA8 MCU