浪潮信息发布源2.0基础大模型，千亿参数全面开源
11月27日，浪潮信息发布源2.0基础大模型，并宣布全面开源。源2.0基础大模型包括1026亿、518亿、21亿等三种参数规模的模型，在编程、推理、逻辑等方面展示出了先进的能力。
当前，大模型技术正在推动生成式人工智能产业迅猛发展，而基础大模型的关键能力则是大模型在行业和应用落地能力表现的核心支撑，但基础大模型的发展也面临着在算法、数据和算力等方面的诸多挑战。源2.0基础大模型则针对性地提出了新的改进方法并获得了能力的提升。
算法方面，源2.0提出并采用了一种新型的注意力算法结构：局部注意力过滤增强机制(lfa：localized filtering-based attention)。lfa通过先学习相邻词之间的关联性，然后再计算全局关联性的方法，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确、更人性，提升了模型的自然语言表达能力，进而提升了模型精度。
数据方面，源2.0通过使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，结合高效的数据清洗流程，为大模型训练提供了高质量的专业数据集和逻辑推理数据集。为了获取中文数学数据，我们清洗了从2018年至今约12pb的互联网数据，但仅获取到了约10gb的数学数据，投入巨大，收益较小。为了更高效地获得相对匮乏的高质量中文数学及代码数据集，源2.0采用了基于大模型的数据生产及过滤方法，在保证数据的多样性的同时也在每一个类别上提升数据质量，获取了一批高质量的数学与代码预训练数据。
算力方面，源2.0采用了非均匀流水并行的方法，综合运用流水线并行+优化器参数并行+数据并行的策略，让模型在流水并行各阶段的显存占用量分布更均衡，避免出现显存瓶颈导致的训练效率降低的问题，该方法显著降低了大模型对芯片间p2p带宽的需求，为硬件差异较大训练环境提供了一种高性能的训练方法。
源2.0作为千亿级基础大模型，在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试，测试结果显示，源2.0在多项模型评测中，展示出了较为先进的能力表现。
源2.0采用全面开源策略，全系列模型参数和代码均可免费下载使用。
浅谈倒车雷达总体系统的硬件设计
应用于中央空调系统的模拟温度控制系统的设计
Facebook正式进军区块链领域并将于2020年发布一套金融基础服务设施
360手机Vizza新品发布会正在进行时:发布会亮点提前看,硬件配置很强悍,售价也很良心
iPhone8什么时候上市？iPhone8最新消息：难道又要出现被手机壳曝光的败笔？猪队友太可怕了！
浪潮信息发布源2.0基础大模型，千亿参数全面开源
电动汽车最大的不同就是驱动方式的不同
光耦将高端电流检测器的工作电压进行扩展
保定移动对干扰器的信号屏蔽范围进行有效把控
日清纺微电子完成光电传感器NJL5830R开发_高通推出全新一站式5G模组
2020年WiFi 6在国内的市场会是怎样的
投票数已超33万！优霸杯评选盛况空前
中控智慧科技指纹门禁一体机ZKCZW290简介
国内互联网巨头业开始追逐智能音箱这个风口
洲明CT1会议一体机产品助力营造青年和城市双向奔赴的良好氛围
KUKA使用SUBMIT解释器
比特币和冠状病毒有没有联系
继电器工作原理简介
来电共享充电宝独家进驻全国7家天津航空贵宾厅
JFET的工作原理 JFET的特点
当前，大模型技术正在推动生成式人工智能产业迅猛发展，而基础大模型的关键能力则是大模型在行业和应用落地能力表现的核心支撑，但基础大模型的发展也面临着在算法、数据和算力等方面的诸多挑战。源2.0基础大模型则针对性地提出了新的改进方法并获得了能力的提升。
算法方面，源2.0提出并采用了一种新型的注意力算法结构：局部注意力过滤增强机制(lfa：localized filtering-based attention)。lfa通过先学习相邻词之间的关联性，然后再计算全局关联性的方法，能够更好地学习到自然语言的局部和全局的语言特征，对于自然语言的关联语义理解更准确、更人性，提升了模型的自然语言表达能力，进而提升了模型精度。
数据方面，源2.0通过使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，结合高效的数据清洗流程，为大模型训练提供了高质量的专业数据集和逻辑推理数据集。为了获取中文数学数据，我们清洗了从2018年至今约12pb的互联网数据，但仅获取到了约10gb的数学数据，投入巨大，收益较小。为了更高效地获得相对匮乏的高质量中文数学及代码数据集，源2.0采用了基于大模型的数据生产及过滤方法，在保证数据的多样性的同时也在每一个类别上提升数据质量，获取了一批高质量的数学与代码预训练数据。
算力方面，源2.0采用了非均匀流水并行的方法，综合运用流水线并行+优化器参数并行+数据并行的策略，让模型在流水并行各阶段的显存占用量分布更均衡，避免出现显存瓶颈导致的训练效率降低的问题，该方法显著降低了大模型对芯片间p2p带宽的需求，为硬件差异较大训练环境提供了一种高性能的训练方法。
源2.0作为千亿级基础大模型，在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试，测试结果显示，源2.0在多项模型评测中，展示出了较为先进的能力表现。
源2.0采用全面开源策略，全系列模型参数和代码均可免费下载使用。
浅谈倒车雷达总体系统的硬件设计
应用于中央空调系统的模拟温度控制系统的设计
Facebook正式进军区块链领域并将于2020年发布一套金融基础服务设施
360手机Vizza新品发布会正在进行时:发布会亮点提前看,硬件配置很强悍,售价也很良心
iPhone8什么时候上市？iPhone8最新消息：难道又要出现被手机壳曝光的败笔？猪队友太可怕了！
浪潮信息发布源2.0基础大模型，千亿参数全面开源
电动汽车最大的不同就是驱动方式的不同
光耦将高端电流检测器的工作电压进行扩展
保定移动对干扰器的信号屏蔽范围进行有效把控
日清纺微电子完成光电传感器NJL5830R开发_高通推出全新一站式5G模组
2020年WiFi 6在国内的市场会是怎样的
投票数已超33万！优霸杯评选盛况空前
中控智慧科技指纹门禁一体机ZKCZW290简介
国内互联网巨头业开始追逐智能音箱这个风口
洲明CT1会议一体机产品助力营造青年和城市双向奔赴的良好氛围
KUKA使用SUBMIT解释器
比特币和冠状病毒有没有联系
继电器工作原理简介
来电共享充电宝独家进驻全国7家天津航空贵宾厅
JFET的工作原理 JFET的特点