NVIDIA GPU再创壮举，距真正会话AI又进一步！
会话 ai 服务已经存在多年，但不论是聊天机器人，还是智能个人助理或搜索引擎，其理解能力很难达到与人类相当的水平。主要瓶颈则在于超大型ai模型的实施部署无法实现。正因如此，不论是google、microsoft、facebook，还是阿里巴巴、百度等，都在模型的部署方面孜孜以求。
nvidia于太平洋时间8月13日宣布重大突破：bert训练时间实现创纪录的53分钟，推理时间缩短至2毫秒，并构建了迄今为止同类型中最大的语言模型，使得实时会话 ai与用户进行互动时更为自然。
超大模型面前，gpu再证强大可扩展性 bert（bidirectional encoder representations from transformers）是世界上最先进的ai语言模型之一，google于去年发布不久就刷爆ai业界。作为一种新型的语言模型，它只需一个额外的输出层对预训练bert进行微调就可以满足各种任务，而无需再对模型进行修改，实现了在11项nlp任务上取得突破进展。
在对bert模型进行训练时，nvidia使用搭载了92台 nvidia dgx-2h系统的 nvidia dgx superpod运行该模型的大型版本，凭借1472个nvidia v100 gpu的强大性能，nvidia将bert-large的典型训练时间从几天缩短至仅仅 53 分钟。
此外，nvidia还在单独一台nvidia dgx-2系统上执行了bert-large 模型的训练任务，用时也仅为 2.8天，充分体现了gpu在会话 ai 方面的可扩展性。
推理方面，借助于运行了nvidia tensorrt的nvidia t4 gpu，nvidia 执行 bert-base squad数据集的推理任务，用时仅为2.2毫秒，远低于许多实时应用程序所需的10毫秒处理阈值；与使用高度优化的cpu代码时所测得的40多毫秒相比，有着显著改进。
对此，nvidia 深度学习应用研究副总裁 bryan catanzaro 表示，“对于适用于自然语言的ai而言，大型语言模型正在为其带来革新。nvidia 所取得的突破性工作成果加速了这些模型的创建，它们能够帮助解决那些最为棘手的语言问题，让我们距离实现真正的会话 ai 更进了一步。 nvidia bert推理解决方案faster transformer宣布开源 开发者们对于更大模型的需求正在日益增长，nvidia 研究团队基于transformer构建并训练了世界上最大的语言模型。transformer是bert的技术构件，正被越来越多的其他自然语言ai模型所使用。nvidia定制的模型包含83亿个参数，是bert-large的24 倍。
2017年12月google在论文“attention is all you need”中首次提出了transformer，将其作为一种通用高效的特征抽取器。至今，transformer已经被多种nlp模型采用，比如bert以及上月发布重刷其记录的xlnet，这些模型在多项nlp任务中都有突出表现。在nlp之外，tts、asr等领域也在逐步采用transformer。可以预见，transformer这个简洁有效的网络结构会像cnn和rnn一样被广泛采用。
不过，虽然transformer在多种场景下都有优秀表现，但是在推理部署阶段，其计算性能却受到了巨大的挑战：以bert为原型的多层transformer模型，其性能常常难以满足在线业务对于低延迟（保证服务质量）和高吞吐（考虑成本）的要求。以bert-base为例，超过90%的计算时间消耗在12层transformer的前向计算上。因此，一个高效的transformer 前向计算方案，既可以为在线业务带来降本增效的作用，也有利于以transformer结构为核心的各类网络在更多实际工业场景中落地。
nvidia gpu计算专家团队针对transformer推理提出的性能优化方案faster transformer宣布开源，其底层基于cuda和cublas，是一个bert transformer 单层前向计算的高效实现，其代码简洁明了，后续可以通过简单修改支持多种transformer结构。目前优化集中在编码器（encoder）的前向计算（解码器decoder开发在后续特性规划中），能够助力于多种bert的应用场景。faster transformer对外提供c++ api，tensorflow op 接口，以及tensorrt插件，并提供了相应的示例，用以支持用户将其集成到不同的线上应用代码中。 2021年15%的客服互动将通过ai完成 预计未来几年，基于自然语言理解的 ai 服务将呈指数级增长。根据juniper research 的研究表明，在未来4年中，仅数字语音助手的数量就将有望从25 亿攀升到 80 亿。此外，据gartner预计，到 2021 年，15%的客服互动都将通过ai完成，相比2017年将增长4倍。
当前，全球数以百计的开发者都使用 nvidia 的 ai 平台，来推进他们自己的语言理解研究并创建新的服务。
microsoft bing正在通过先进的 ai 模型和计算平台，为客户提供更好的搜索体验。通过与 nvidia 密切合作，bing 使用 nvidia gpu（azure ai 基础设施的一部分）进一步优化了热门自然语言模型 bert 的推理功能，从而大幅提升了 bing 于去年部署的排名搜索的搜索质量。与基于 cpu 的平台相比，使用 azure nvidia gpu 进行推理，延迟降低了一半，吞吐量提升了5倍。
多家初创公司（例如clinc、passage ai 和recordsure等）正在使用 nvidia的ai平台为银行、汽车制造商、零售商、医疗服务提供商、旅行社和酒店等客户构建先进的会话 ai 服务。据悉，中国市场也有相应的合作伙伴，日后将进一步公开。
会话ai才是真正意义上的人工智能的基本特征，不论是语言模型还是训练、推理，底层技术的逐步强大，才是实现这一切的基础。距离我们所期望的人工智能虽然还很遥远，但技术上的每一次突破都值得记载。
显示器设计的灵活性对满足不同类型穿戴设备的需要很有帮助
DS1308串行实时时钟
关于在开关模式电源印刷电路板上放置电感的指南
华为Mate30系列和华为智慧屏无法预装谷歌关键应用
小米MIUI9最新消息：MIUI9适配机型汇总，堪称业界良心有你的手机吗？
NVIDIA GPU再创壮举，距真正会话AI又进一步！
钠离子电池的电解质分类
OPPOR11什么时候上市？OPPOR11最新消息：OPPOR11黑科技曝光，12个月优化多场景人像拍照
生物传感器通过可穿戴的家庭测试检测睡眠呼吸暂停
深入拆解nubia 氘锋 GaN Pro 65W多口充电头
智能电力运维云平台的功能都有哪些
2018年全球X86服务器市场强劲复苏
PCB设计：AC耦合电容的影响
西部数据公司推出两款NVMeTM SSD新系列产品
工控触屏一体机的应用领域
传感器技术助力打造智慧城市
魅族PRO7最新消息，背面纹路很漂亮，副屏与山水融合得恰到好处！
区块链的基本原理及分类介绍
三星为何能在内存芯片市场称霸？
直接耦合共发射极电路的仿真分析
nvidia于太平洋时间8月13日宣布重大突破：bert训练时间实现创纪录的53分钟，推理时间缩短至2毫秒，并构建了迄今为止同类型中最大的语言模型，使得实时会话 ai与用户进行互动时更为自然。
超大模型面前，gpu再证强大可扩展性 bert（bidirectional encoder representations from transformers）是世界上最先进的ai语言模型之一，google于去年发布不久就刷爆ai业界。作为一种新型的语言模型，它只需一个额外的输出层对预训练bert进行微调就可以满足各种任务，而无需再对模型进行修改，实现了在11项nlp任务上取得突破进展。
在对bert模型进行训练时，nvidia使用搭载了92台 nvidia dgx-2h系统的 nvidia dgx superpod运行该模型的大型版本，凭借1472个nvidia v100 gpu的强大性能，nvidia将bert-large的典型训练时间从几天缩短至仅仅 53 分钟。
此外，nvidia还在单独一台nvidia dgx-2系统上执行了bert-large 模型的训练任务，用时也仅为 2.8天，充分体现了gpu在会话 ai 方面的可扩展性。
推理方面，借助于运行了nvidia tensorrt的nvidia t4 gpu，nvidia 执行 bert-base squad数据集的推理任务，用时仅为2.2毫秒，远低于许多实时应用程序所需的10毫秒处理阈值；与使用高度优化的cpu代码时所测得的40多毫秒相比，有着显著改进。
对此，nvidia 深度学习应用研究副总裁 bryan catanzaro 表示，“对于适用于自然语言的ai而言，大型语言模型正在为其带来革新。nvidia 所取得的突破性工作成果加速了这些模型的创建，它们能够帮助解决那些最为棘手的语言问题，让我们距离实现真正的会话 ai 更进了一步。 nvidia bert推理解决方案faster transformer宣布开源 开发者们对于更大模型的需求正在日益增长，nvidia 研究团队基于transformer构建并训练了世界上最大的语言模型。transformer是bert的技术构件，正被越来越多的其他自然语言ai模型所使用。nvidia定制的模型包含83亿个参数，是bert-large的24 倍。
2017年12月google在论文“attention is all you need”中首次提出了transformer，将其作为一种通用高效的特征抽取器。至今，transformer已经被多种nlp模型采用，比如bert以及上月发布重刷其记录的xlnet，这些模型在多项nlp任务中都有突出表现。在nlp之外，tts、asr等领域也在逐步采用transformer。可以预见，transformer这个简洁有效的网络结构会像cnn和rnn一样被广泛采用。
不过，虽然transformer在多种场景下都有优秀表现，但是在推理部署阶段，其计算性能却受到了巨大的挑战：以bert为原型的多层transformer模型，其性能常常难以满足在线业务对于低延迟（保证服务质量）和高吞吐（考虑成本）的要求。以bert-base为例，超过90%的计算时间消耗在12层transformer的前向计算上。因此，一个高效的transformer 前向计算方案，既可以为在线业务带来降本增效的作用，也有利于以transformer结构为核心的各类网络在更多实际工业场景中落地。
nvidia gpu计算专家团队针对transformer推理提出的性能优化方案faster transformer宣布开源，其底层基于cuda和cublas，是一个bert transformer 单层前向计算的高效实现，其代码简洁明了，后续可以通过简单修改支持多种transformer结构。目前优化集中在编码器（encoder）的前向计算（解码器decoder开发在后续特性规划中），能够助力于多种bert的应用场景。faster transformer对外提供c++ api，tensorflow op 接口，以及tensorrt插件，并提供了相应的示例，用以支持用户将其集成到不同的线上应用代码中。 2021年15%的客服互动将通过ai完成 预计未来几年，基于自然语言理解的 ai 服务将呈指数级增长。根据juniper research 的研究表明，在未来4年中，仅数字语音助手的数量就将有望从25 亿攀升到 80 亿。此外，据gartner预计，到 2021 年，15%的客服互动都将通过ai完成，相比2017年将增长4倍。
当前，全球数以百计的开发者都使用 nvidia 的 ai 平台，来推进他们自己的语言理解研究并创建新的服务。
microsoft bing正在通过先进的 ai 模型和计算平台，为客户提供更好的搜索体验。通过与 nvidia 密切合作，bing 使用 nvidia gpu（azure ai 基础设施的一部分）进一步优化了热门自然语言模型 bert 的推理功能，从而大幅提升了 bing 于去年部署的排名搜索的搜索质量。与基于 cpu 的平台相比，使用 azure nvidia gpu 进行推理，延迟降低了一半，吞吐量提升了5倍。
多家初创公司（例如clinc、passage ai 和recordsure等）正在使用 nvidia的ai平台为银行、汽车制造商、零售商、医疗服务提供商、旅行社和酒店等客户构建先进的会话 ai 服务。据悉，中国市场也有相应的合作伙伴，日后将进一步公开。
会话ai才是真正意义上的人工智能的基本特征，不论是语言模型还是训练、推理，底层技术的逐步强大，才是实现这一切的基础。距离我们所期望的人工智能虽然还很遥远，但技术上的每一次突破都值得记载。
显示器设计的灵活性对满足不同类型穿戴设备的需要很有帮助
DS1308串行实时时钟
关于在开关模式电源印刷电路板上放置电感的指南
华为Mate30系列和华为智慧屏无法预装谷歌关键应用
小米MIUI9最新消息：MIUI9适配机型汇总，堪称业界良心有你的手机吗？
NVIDIA GPU再创壮举，距真正会话AI又进一步！
钠离子电池的电解质分类
OPPOR11什么时候上市？OPPOR11最新消息：OPPOR11黑科技曝光，12个月优化多场景人像拍照
生物传感器通过可穿戴的家庭测试检测睡眠呼吸暂停
深入拆解nubia 氘锋 GaN Pro 65W多口充电头
智能电力运维云平台的功能都有哪些
2018年全球X86服务器市场强劲复苏
PCB设计：AC耦合电容的影响
西部数据公司推出两款NVMeTM SSD新系列产品
工控触屏一体机的应用领域
传感器技术助力打造智慧城市
魅族PRO7最新消息，背面纹路很漂亮，副屏与山水融合得恰到好处！
区块链的基本原理及分类介绍
三星为何能在内存芯片市场称霸？
直接耦合共发射极电路的仿真分析