160亿参数，新增多项能力，复旦MOSS开源了
今年 2 月份，机器之心报道了复旦大学推出中国版 chatgpt 的消息，引起了广泛关注。当时，邱锡鹏教授就曾表示将于四月份开源 moss。
昨天，开源版的 moss 真的来了。
项目地址：https://github.com/openlmlab/moss
moss 是一个支持中英双语和多种插件的开源对话语言模型，但参数数量比 chatgpt 少得多。在 v0.0.2 之后，团队持续对其进行调整，推出了 moss v0.0.3，也就是目前开源的版本。相比于早期版本，功能也实现了多项更新。
最初的测试中，moss 的基础功能与 chatgpt 类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。
开放内测后，团队继续加大中文语料的预训练：「截止目前，moss 003 的基座语言模型已经在 100b 中文 token 上进行了训练，总训练 token 数量达到 700b，其中还包含约 300b 代码。」
在开放内测后，我们也收集了一些用户数据，我们发现真实中文世界的用户意图和 openai instructgpt 论文中披露的 user prompt 分布有较大差异（这不仅与用户来自的国家差异有关，也跟产品上线时间有关，早期产品采集的数据中存在大量对抗性和测试性输入），于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据，涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。
内容来源：https://www.zhihu.com/question/596908242/answer/2994534005
目前，团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 huggingface。后续，还有三个模型将会开源。
根据项目主页介绍，moss-moon 系列模型具有 160 亿参数，在 fp16 精度下可在单张 a100/a800 或两张 3090 显卡运行，在 int4/8 精度下可在单张 3090 显卡运行。
团队同时表示，由于模型参数量较小和自回归生成范式，moss 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容，请谨慎鉴别和使用 moss 生成的内容，请勿将 moss 生成的有害内容传播至互联网。
新增能力
在 moss v0.0.3 中，团队加入了多项新能力。
团队构造了约 30 万插件增强的对话数据，包含搜索引擎、文生图、计算器、方程求解等。关于插件版 moss 如何使用，后续团队将在 github 公布。
moss v0.0.3 现已引入使用多种插件的能力。
下图展示了调用搜索引擎的能力：
下图展示了调用方程求解器的能力：
下图展示了从文本生成图片的能力：
项目作者孙天祥补充说，moss 003 支持启用插件的能力是通过 meta instruction 来控制，类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的，所以并不能保证 100% 控制率，以及还存在一些多选插件时调用不准、插件互相打架的缺陷，我们正在尽快开发新的模型来缓解这些问题。」
下载安装
下载本仓库内容至本地 / 远程服务器：
git clone https://github.com/openlmlab/moss.gitcd moss
创建 conda 环境：
conda create --name moss python=3.8 conda activate moss
安装依赖：
pip install -r requirements.txt
其中 torch 和 transformers 版本不建议低于推荐版本。
根据协议，开源的 moss 可用于商业用途：
此外，开发者也可通过 api 调用 moss 服务，团队将根据当前服务压力考虑通过 api 接口形式提供服务，接口格式可参考：https://github.com/openlmlab/moss/blob/main/moss_api.pdf
目前，已有开发者根据开源内容进行而创，比如通过 videochat 进行视频问答。
videochat 是一款多功能视频问答工具，结合了动作识别、视觉字幕和 stablelm 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕，提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。
项目地址：https://github.com/opengvlab/ask-anything/tree/main/video_chat_with_moss
DS1685/87和DS17X85/87访问扩展用户内存-A
中小学校园综合安防系统的组成架构及特点分析
晶晨半导体8K智能机顶盒SoC芯片S928X特性解读
2G和3G网络即将被淘汰，移动产业一个时代的结束
设计超低功耗的嵌入式应用（二）：五种电源模式详解
160亿参数，新增多项能力，复旦MOSS开源了
系统分析S3C2410的中断处理
蓝牙耳机买什么品牌好一些，最好的蓝牙耳机品牌推荐
一种基于SoC的高精度电子血压检测仪
OPPOR11/OPPOR11Plus劲敌来袭，小米手机蓝米X1不断曝光！和OPPOR11相同配置，蓝米X1仅售1999元
三星可折叠手机今年开售，还有人会买苹果手机吗？
S7-200Smart PLC的指令入门应用
通过SCR并联稳压器电路保护LED驱动器的的方法
采用AMD GPU的新一代Exynos芯片组已经引起了人们的好奇
口碑最好的国产蓝牙耳机、平价好用的国产蓝牙耳机
苏州又一个智慧灯杆试点建设完成！不仅节能减耗还有噪声监测、5G基站
面向AIOT场景的搭载RK3588芯片的AIOT主板SOMB-6581A来了
正反转反接制动电路图
主流蓝牙BLE控制芯片详解（5）：Dialog DA14580
英飞凌的UWB祈望：下一个必要步骤
昨天，开源版的 moss 真的来了。
项目地址：https://github.com/openlmlab/moss
moss 是一个支持中英双语和多种插件的开源对话语言模型，但参数数量比 chatgpt 少得多。在 v0.0.2 之后，团队持续对其进行调整，推出了 moss v0.0.3，也就是目前开源的版本。相比于早期版本，功能也实现了多项更新。
最初的测试中，moss 的基础功能与 chatgpt 类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。
开放内测后，团队继续加大中文语料的预训练：「截止目前，moss 003 的基座语言模型已经在 100b 中文 token 上进行了训练，总训练 token 数量达到 700b，其中还包含约 300b 代码。」
在开放内测后，我们也收集了一些用户数据，我们发现真实中文世界的用户意图和 openai instructgpt 论文中披露的 user prompt 分布有较大差异（这不仅与用户来自的国家差异有关，也跟产品上线时间有关，早期产品采集的数据中存在大量对抗性和测试性输入），于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据，涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。
内容来源：https://www.zhihu.com/question/596908242/answer/2994534005
目前，团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 huggingface。后续，还有三个模型将会开源。
根据项目主页介绍，moss-moon 系列模型具有 160 亿参数，在 fp16 精度下可在单张 a100/a800 或两张 3090 显卡运行，在 int4/8 精度下可在单张 3090 显卡运行。
团队同时表示，由于模型参数量较小和自回归生成范式，moss 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容，请谨慎鉴别和使用 moss 生成的内容，请勿将 moss 生成的有害内容传播至互联网。
新增能力
在 moss v0.0.3 中，团队加入了多项新能力。
团队构造了约 30 万插件增强的对话数据，包含搜索引擎、文生图、计算器、方程求解等。关于插件版 moss 如何使用，后续团队将在 github 公布。
moss v0.0.3 现已引入使用多种插件的能力。
下图展示了调用搜索引擎的能力：
下图展示了调用方程求解器的能力：
下图展示了从文本生成图片的能力：
项目作者孙天祥补充说，moss 003 支持启用插件的能力是通过 meta instruction 来控制，类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的，所以并不能保证 100% 控制率，以及还存在一些多选插件时调用不准、插件互相打架的缺陷，我们正在尽快开发新的模型来缓解这些问题。」
下载安装
下载本仓库内容至本地 / 远程服务器：
git clone https://github.com/openlmlab/moss.gitcd moss
创建 conda 环境：
conda create --name moss python=3.8 conda activate moss
安装依赖：
pip install -r requirements.txt
其中 torch 和 transformers 版本不建议低于推荐版本。
根据协议，开源的 moss 可用于商业用途：
此外，开发者也可通过 api 调用 moss 服务，团队将根据当前服务压力考虑通过 api 接口形式提供服务，接口格式可参考：https://github.com/openlmlab/moss/blob/main/moss_api.pdf
目前，已有开发者根据开源内容进行而创，比如通过 videochat 进行视频问答。
videochat 是一款多功能视频问答工具，结合了动作识别、视觉字幕和 stablelm 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕，提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。
项目地址：https://github.com/opengvlab/ask-anything/tree/main/video_chat_with_moss
DS1685/87和DS17X85/87访问扩展用户内存-A
中小学校园综合安防系统的组成架构及特点分析
晶晨半导体8K智能机顶盒SoC芯片S928X特性解读
2G和3G网络即将被淘汰，移动产业一个时代的结束
设计超低功耗的嵌入式应用（二）：五种电源模式详解
160亿参数，新增多项能力，复旦MOSS开源了
系统分析S3C2410的中断处理
蓝牙耳机买什么品牌好一些，最好的蓝牙耳机品牌推荐
一种基于SoC的高精度电子血压检测仪
OPPOR11/OPPOR11Plus劲敌来袭，小米手机蓝米X1不断曝光！和OPPOR11相同配置，蓝米X1仅售1999元
三星可折叠手机今年开售，还有人会买苹果手机吗？
S7-200Smart PLC的指令入门应用
通过SCR并联稳压器电路保护LED驱动器的的方法
采用AMD GPU的新一代Exynos芯片组已经引起了人们的好奇
口碑最好的国产蓝牙耳机、平价好用的国产蓝牙耳机
苏州又一个智慧灯杆试点建设完成！不仅节能减耗还有噪声监测、5G基站
面向AIOT场景的搭载RK3588芯片的AIOT主板SOMB-6581A来了
正反转反接制动电路图
主流蓝牙BLE控制芯片详解（5）：Dialog DA14580
英飞凌的UWB祈望：下一个必要步骤