AI芯片 CPU+xPU的异构方案全面解析
本文来自“算力大时代，ai算力产业链全景梳理(2023)”，从广义上讲，能运行ai 算法的芯片都叫ai 芯片。cpu、gpu、fpga、npu、asic 都能执行ai 算法，但在执行效率层面上有巨大的差异。cpu 可以快速执行复杂的数学计算，但同时执行多项任务时，cpu 性能开始下降，目前行业内基本确认cpu 不适用于ai 计算。
cpu+xpu 的异构方案成为大算力场景标配，gpu为应用最广泛的 ai 芯片。目前业内广泛认同的ai 芯片类型包括gpu、fpga、npu 等。由于 cpu 负责对计算机的硬件资源进行控制调配，也要负责操作系统的运行，在现代计算系统中仍是不可或缺的。gpu、fpga 等芯片都是作为 cpu 的加速器而存在，因此目前主流的 ai计算系统均为 cpu+xpu 的异构并行。cpu+gpu 是目前最流行的异构计算系统，在 hpc、图形图像处理以及ai 训练/推理等场景为主流选择。idc 数据显示，2021 年中国 ai 芯片市场中，gpu 市占率为 89%。
在gpu 问世以后，nvidia 及其竞争对手 ati（被 amd 收购）一直在为他们的显卡包装更多的功能。2006 年 nvidia 发布了 cuda 开发环境，这是最早被广泛应用的 gpu 计算编程模型。cuda 将 gpu 的能力向科学计算等领域开放，标志着 gpu 成为一种更通用的计算设备 gpgpu（general purpose gpu）。nvidia 也在之后推出了面向数据中心的 gpu 产品线。
gpu 性能提升与功能丰富逐步满足 ai 运算需要。2010 年 nvidia 提出的 fermi 架构是首个完整的 gpu计算架构，其中提出的许多新概念沿用至今。kepler 架构在硬件上拥有了双精度计算单元（fp64），并提出 gpudirect 技术，绕过 cpu/system memory，与其他 gpu 直接进行数据交互。pascal 架构应用了第一代 nvlink。
volta 架构开始应用 tensor core，对 ai 计算加速具有重要意义。简要回顾 nvidia gpu 硬件变革历程，工艺、计算核心数增加等基础特性的升级持续推动性能提升，同时每一代架构所包含的功能特性也在不断丰富，逐渐更好地适配 ai 运算的需要。
ai 的数据来源广泛，gpu 逐渐实现对各类数据类型的支持。依照精度差异，算力可从 int8（整数类型）、fp16（半精度）、fp32（单精度）、fp64（双精度）等不同维度对比。ai 应用处理的数据包括文字、图片或视频，数据精度类型差异大。对于数据表征来讲，精度越高，准确性越高；但降低精度可以节省运算时间，减少成本。
总体来看，精度的选择需要在准确度、成本、时间之间取得平衡。目前许多 ai 模型中运行半精度甚至整形计算即可完成符合准确度的推理和训练。随着架构的迭代，nvidia gpu 能支持的数据类型持续丰富，例如 turing架构 t4 开始支持 int8，ampere 架构 a100 的 tensor core 开始支持tf32。
均衡分配资源的前提下，处理低精度的硬件单元数量更多，表现更高的算力性能。gpu 作为加速器得到广泛应用一定程度上得益于它的通用性，为了在不同精度的数据类型上具有良好的性能，以兼顾 ai、科学计算等不同场景的需要，英伟达在分配处理不同数据类型的硬件单元时大体上保持均衡。因为低精度数据类型的计算占用更少的硬件资源，同一款 gpu 中的处理低精度数据类型的硬件单元的数量较多，对应计算能力也较强。以v100 为例，每个 sm 中 fp32 单元的数量都为 fp64 单元的两倍，最终 v100 的 fp32 算力（15.7 tflops）也近似为 fp64（7.8 tflops）的两倍，类似的规律也可以在各代架构旗舰 p100、a100 和 h100 中看到。
gpu 引入特殊硬件单元加速 ai 的核心运算环节。矩阵-矩阵乘法（gemm）运算是神经网络训练和推理的核心，本质是在网络互连层中将大矩阵输入数据和权重相乘。矩阵乘积的求解过程需要大量的乘积累加操作，而 fma（fused multiply–accumulate operation，融合乘加）可以消耗更少的时钟周期来完成这一过程。传统 cudacore 执行 fma 指令，硬件层面需要将数据按寄存器->alu->寄存器->alu->寄存器的方式来回搬运。2017 年发布的 volta 架构首度引入了 tensor core（张量核心），是由 nvidia 研发的新型处理核心。根据 nvidia 数据，volta tensor core 可以在一个 gpu 时钟周期内执行 4×4×4=64 次 fma操作，吞吐量是 pascal 架构下 cuda core的12 倍。
tensor core 持续迭代提升其加速能力。volta 架构引入 tensor core 的改动使 gpu 的 ai 算力有了明显提升，后续在每一代的架构升级中，tensor core 都有比较大的改进，支持的数据类型也逐渐增多。以 a100 到 h100为例，tensor core 由 3.0 迭代至 4.0，h100 在 fp16 tensor core 的峰值吞吐量提升至 a100 的 3 倍。同时，h100tensor core 支持新的数据类型 fp8，h100 fp8 tensor core 的吞吐量是 a100 fp16 tensor core 的 6 倍。
tensor core 加速下，低精度比特位宽的算力爆发式增长，契合 ai 计算需要。tensor core 的应用使算力快速、高效增长，选取 pascal 至 hopper 架构时期每一代的旗舰数据中心显卡，对比经 tensor core 加速前后的 fp16算力指标可以得到：（1）经 tensor core 加速的 fp16 算力明显高于加速之前。（2）每单位 tensor core 支持的算力明显高于每单位 cuda core 支持的算力。同时，tensor core 从 2017 年推出以来首先完善了对低精度数据类型的支持，顺应了 ai 发展的需要。
数据访问支配着计算能力利用率。ai 运算涉及到大量数据的存储与处理，根据 cadence 数据，与一般工作负载相比，每台 ai 训练服务器需要 6 倍的内存容量。而在过去几十年中，处理器的运行速度随着摩尔定律高速提升，而 dram 的性能提升速度远远慢于处理器速度。目前 dram 的性能已经成为了整体计算机性能的一个重要瓶颈，即所谓阻碍性能提升的“内存墙”。除了性能之外，内存对于能效比的限制也成为一个瓶颈，cadence数据显示，在自然语言类 ai 负载中，存储消耗的能量占比达到 82%。
gpu 采用高带宽 hbm 降低“内存墙”影响。为防止占用系统内存并提供较高的带宽和较低的延时，gpu均配备有独立的的内存。常规的 gddr 焊接在 gpu 芯片周边的 pcb 板上，与处理器之间的数据传输速率慢，并且存储容量小，成为运算速度提升的瓶颈。hbm 裸片通过 tsv 进行堆叠，然后 hbm 整体与 gpu 核心通过中介层互连，因此 hbm 获得了极高的带宽，并节省了 pcb 面积。目前，gddr 显存仍是消费级 gpu 的行业标准，hbm 则成为数据中心 gpu 的主流选择。
硬件单元的改进与显存升级增强了单张 gpu 算力的释放，然而，随着 transformer 模型的大规模发展和应
用，模型参数量呈爆炸式增长，gpt-3 参数量达到了 1750 亿，相比 gpt 增长了近 1500 倍，预训练数据量更是
从 5gb 提升到了 45tb。大模型参数量的指数级增长带来的诸多问题使 gpu 集群化运算成为必须：
（1）即使最先进的 gpu，也不再可能将模型参数拟合到主内存中。
（2）即使模型可以安装在单个 gpu 中（例如，通过在主机和设备内存之间交换参数），所需的大量计算操作也可能导致在没有并行化的情况下不切实际地延长训练时间。根据 nvidia 数据，在 8 个 v100 gpu 上训练一个具有 1750 亿个参数的 gpt-3 模型需要 36 年，而在 512 个 v100 gpu 上训练需要 7 个月。
nvidia 开发 nvlink 技术解决 gpu 集群通信。在硬件端，gpu 之间稳定、高速的通信是实现集群运算所必须的条件。传统 x86 服务器的互连通道 pcie 的互连带宽由其代际与结构决定，例如 x16 pcie 4.0 双向带宽仅为 64gb/s。除此之外，gpu 之间通过 pcie 交互还会与总线上的 cpu 操作竞争，甚至进一步占用可用带宽。
nvidia 为突破 pcie 互连的带宽限制，在 p100 上搭载了首项高速 gpu 互连技术 nvlink（一种总线及通讯协议），gpu 之间无需再通过 pcie 进行交互。
nvlink 继续与 nvidia gpu 架构同步发展，每一种新架构都伴随着新一代 nvlink。第四代 nvlink 为每个 gpu 提供 900 gb/s 的双向带宽，比上一代高 1.5 倍，比第一代 nvlink 高 5.6 倍。
nvdia 开发基于 nvlink 的芯片 nvswitch，作为 gpu 集群数据通信的“枢纽”。nvlink 1.0 技术使用时，一台服务器中的 8 个 gpu 无法全部实现直接互连。同时，当 gpu 数量增加时，仅依靠 nvlink 技术，需要众多数量的总线。为解决上述问题，nvidia 在 nvlink 2.0 时期发布了 nvswitch，实现了 nvlink 的全连接。
nvswitch 是一款 gpu 桥接芯片，可提供所需的 nvlink 交叉网络，在 gpu 之间的通信中发挥“枢纽”作用。借助于 nvswitch，每颗 gpu 都能以相同的延迟和速度访问其它的 gpu。就程序来看，16 个 gpu 都被视为一个 gpu，系统效率得到了最大化，大大降低了多 gpu 系统的优化难度。
通过添加更多 nvswitch 来支持更多 gpu，集群分布式运算得以实现。当训练大型语言模型时，nvlink网络也可以提供显著的提升。nvswitch 已成为高性能计算(hpc)和 ai 训练应用中不可或缺的一部分。
linux虚拟机怎么运行代码
360N5：骁龙653+6GB， 同样价格， 性价比完爆红米Note4高配版
新能源汽车涨势迅猛，1-5月累计产销32.8万辆
集创创亿新里程 ICN2026累计出货量超亿颗
物联网及智能家居和可穿戴应用的相关性
AI芯片 CPU+xPU的异构方案全面解析
5G发展预测,网络将重回有线行业本源
领存X7 2.5寸NVME固态硬盘产品介绍
僵尸网络Vollgar入侵微软近两年 每天有2-3千个数据库被攻陷
pcb覆铜步骤
我们能否扩展现有的预训练 LLM 的上下文窗口
超声波传感器在筑养路机械行业中的应用解析
日本VR战舰大和号正式竣工 与实物同等大小
当心健康数据泄露！加固平板助力医疗保健保护患者隐私
LED应用过程中的常见问题解析
Synaptics Natural ID指纹传感器获得业界首个银行卡检测中心认证
手机拍照技术新升级,全像素双核疾速对焦技术才是正确的拍照姿势
过程分析仪器CAN网络通信设计
华米首次公开招股最大募资额为1.38亿美元
澳柯玛推出的一款中式智能互联冰箱 开启全新智慧生活
cpu+xpu 的异构方案成为大算力场景标配，gpu为应用最广泛的 ai 芯片。目前业内广泛认同的ai 芯片类型包括gpu、fpga、npu 等。由于 cpu 负责对计算机的硬件资源进行控制调配，也要负责操作系统的运行，在现代计算系统中仍是不可或缺的。gpu、fpga 等芯片都是作为 cpu 的加速器而存在，因此目前主流的 ai计算系统均为 cpu+xpu 的异构并行。cpu+gpu 是目前最流行的异构计算系统，在 hpc、图形图像处理以及ai 训练/推理等场景为主流选择。idc 数据显示，2021 年中国 ai 芯片市场中，gpu 市占率为 89%。
在gpu 问世以后，nvidia 及其竞争对手 ati（被 amd 收购）一直在为他们的显卡包装更多的功能。2006 年 nvidia 发布了 cuda 开发环境，这是最早被广泛应用的 gpu 计算编程模型。cuda 将 gpu 的能力向科学计算等领域开放，标志着 gpu 成为一种更通用的计算设备 gpgpu（general purpose gpu）。nvidia 也在之后推出了面向数据中心的 gpu 产品线。
gpu 性能提升与功能丰富逐步满足 ai 运算需要。2010 年 nvidia 提出的 fermi 架构是首个完整的 gpu计算架构，其中提出的许多新概念沿用至今。kepler 架构在硬件上拥有了双精度计算单元（fp64），并提出 gpudirect 技术，绕过 cpu/system memory，与其他 gpu 直接进行数据交互。pascal 架构应用了第一代 nvlink。
volta 架构开始应用 tensor core，对 ai 计算加速具有重要意义。简要回顾 nvidia gpu 硬件变革历程，工艺、计算核心数增加等基础特性的升级持续推动性能提升，同时每一代架构所包含的功能特性也在不断丰富，逐渐更好地适配 ai 运算的需要。
ai 的数据来源广泛，gpu 逐渐实现对各类数据类型的支持。依照精度差异，算力可从 int8（整数类型）、fp16（半精度）、fp32（单精度）、fp64（双精度）等不同维度对比。ai 应用处理的数据包括文字、图片或视频，数据精度类型差异大。对于数据表征来讲，精度越高，准确性越高；但降低精度可以节省运算时间，减少成本。
总体来看，精度的选择需要在准确度、成本、时间之间取得平衡。目前许多 ai 模型中运行半精度甚至整形计算即可完成符合准确度的推理和训练。随着架构的迭代，nvidia gpu 能支持的数据类型持续丰富，例如 turing架构 t4 开始支持 int8，ampere 架构 a100 的 tensor core 开始支持tf32。
均衡分配资源的前提下，处理低精度的硬件单元数量更多，表现更高的算力性能。gpu 作为加速器得到广泛应用一定程度上得益于它的通用性，为了在不同精度的数据类型上具有良好的性能，以兼顾 ai、科学计算等不同场景的需要，英伟达在分配处理不同数据类型的硬件单元时大体上保持均衡。因为低精度数据类型的计算占用更少的硬件资源，同一款 gpu 中的处理低精度数据类型的硬件单元的数量较多，对应计算能力也较强。以v100 为例，每个 sm 中 fp32 单元的数量都为 fp64 单元的两倍，最终 v100 的 fp32 算力（15.7 tflops）也近似为 fp64（7.8 tflops）的两倍，类似的规律也可以在各代架构旗舰 p100、a100 和 h100 中看到。
gpu 引入特殊硬件单元加速 ai 的核心运算环节。矩阵-矩阵乘法（gemm）运算是神经网络训练和推理的核心，本质是在网络互连层中将大矩阵输入数据和权重相乘。矩阵乘积的求解过程需要大量的乘积累加操作，而 fma（fused multiply–accumulate operation，融合乘加）可以消耗更少的时钟周期来完成这一过程。传统 cudacore 执行 fma 指令，硬件层面需要将数据按寄存器->alu->寄存器->alu->寄存器的方式来回搬运。2017 年发布的 volta 架构首度引入了 tensor core（张量核心），是由 nvidia 研发的新型处理核心。根据 nvidia 数据，volta tensor core 可以在一个 gpu 时钟周期内执行 4×4×4=64 次 fma操作，吞吐量是 pascal 架构下 cuda core的12 倍。
tensor core 持续迭代提升其加速能力。volta 架构引入 tensor core 的改动使 gpu 的 ai 算力有了明显提升，后续在每一代的架构升级中，tensor core 都有比较大的改进，支持的数据类型也逐渐增多。以 a100 到 h100为例，tensor core 由 3.0 迭代至 4.0，h100 在 fp16 tensor core 的峰值吞吐量提升至 a100 的 3 倍。同时，h100tensor core 支持新的数据类型 fp8，h100 fp8 tensor core 的吞吐量是 a100 fp16 tensor core 的 6 倍。
tensor core 加速下，低精度比特位宽的算力爆发式增长，契合 ai 计算需要。tensor core 的应用使算力快速、高效增长，选取 pascal 至 hopper 架构时期每一代的旗舰数据中心显卡，对比经 tensor core 加速前后的 fp16算力指标可以得到：（1）经 tensor core 加速的 fp16 算力明显高于加速之前。（2）每单位 tensor core 支持的算力明显高于每单位 cuda core 支持的算力。同时，tensor core 从 2017 年推出以来首先完善了对低精度数据类型的支持，顺应了 ai 发展的需要。
数据访问支配着计算能力利用率。ai 运算涉及到大量数据的存储与处理，根据 cadence 数据，与一般工作负载相比，每台 ai 训练服务器需要 6 倍的内存容量。而在过去几十年中，处理器的运行速度随着摩尔定律高速提升，而 dram 的性能提升速度远远慢于处理器速度。目前 dram 的性能已经成为了整体计算机性能的一个重要瓶颈，即所谓阻碍性能提升的“内存墙”。除了性能之外，内存对于能效比的限制也成为一个瓶颈，cadence数据显示，在自然语言类 ai 负载中，存储消耗的能量占比达到 82%。
gpu 采用高带宽 hbm 降低“内存墙”影响。为防止占用系统内存并提供较高的带宽和较低的延时，gpu均配备有独立的的内存。常规的 gddr 焊接在 gpu 芯片周边的 pcb 板上，与处理器之间的数据传输速率慢，并且存储容量小，成为运算速度提升的瓶颈。hbm 裸片通过 tsv 进行堆叠，然后 hbm 整体与 gpu 核心通过中介层互连，因此 hbm 获得了极高的带宽，并节省了 pcb 面积。目前，gddr 显存仍是消费级 gpu 的行业标准，hbm 则成为数据中心 gpu 的主流选择。
硬件单元的改进与显存升级增强了单张 gpu 算力的释放，然而，随着 transformer 模型的大规模发展和应
用，模型参数量呈爆炸式增长，gpt-3 参数量达到了 1750 亿，相比 gpt 增长了近 1500 倍，预训练数据量更是
从 5gb 提升到了 45tb。大模型参数量的指数级增长带来的诸多问题使 gpu 集群化运算成为必须：
（1）即使最先进的 gpu，也不再可能将模型参数拟合到主内存中。
（2）即使模型可以安装在单个 gpu 中（例如，通过在主机和设备内存之间交换参数），所需的大量计算操作也可能导致在没有并行化的情况下不切实际地延长训练时间。根据 nvidia 数据，在 8 个 v100 gpu 上训练一个具有 1750 亿个参数的 gpt-3 模型需要 36 年，而在 512 个 v100 gpu 上训练需要 7 个月。
nvidia 开发 nvlink 技术解决 gpu 集群通信。在硬件端，gpu 之间稳定、高速的通信是实现集群运算所必须的条件。传统 x86 服务器的互连通道 pcie 的互连带宽由其代际与结构决定，例如 x16 pcie 4.0 双向带宽仅为 64gb/s。除此之外，gpu 之间通过 pcie 交互还会与总线上的 cpu 操作竞争，甚至进一步占用可用带宽。
nvidia 为突破 pcie 互连的带宽限制，在 p100 上搭载了首项高速 gpu 互连技术 nvlink（一种总线及通讯协议），gpu 之间无需再通过 pcie 进行交互。
nvlink 继续与 nvidia gpu 架构同步发展，每一种新架构都伴随着新一代 nvlink。第四代 nvlink 为每个 gpu 提供 900 gb/s 的双向带宽，比上一代高 1.5 倍，比第一代 nvlink 高 5.6 倍。
nvdia 开发基于 nvlink 的芯片 nvswitch，作为 gpu 集群数据通信的“枢纽”。nvlink 1.0 技术使用时，一台服务器中的 8 个 gpu 无法全部实现直接互连。同时，当 gpu 数量增加时，仅依靠 nvlink 技术，需要众多数量的总线。为解决上述问题，nvidia 在 nvlink 2.0 时期发布了 nvswitch，实现了 nvlink 的全连接。
nvswitch 是一款 gpu 桥接芯片，可提供所需的 nvlink 交叉网络，在 gpu 之间的通信中发挥“枢纽”作用。借助于 nvswitch，每颗 gpu 都能以相同的延迟和速度访问其它的 gpu。就程序来看，16 个 gpu 都被视为一个 gpu，系统效率得到了最大化，大大降低了多 gpu 系统的优化难度。
通过添加更多 nvswitch 来支持更多 gpu，集群分布式运算得以实现。当训练大型语言模型时，nvlink网络也可以提供显著的提升。nvswitch 已成为高性能计算(hpc)和 ai 训练应用中不可或缺的一部分。
linux虚拟机怎么运行代码
360N5：骁龙653+6GB， 同样价格， 性价比完爆红米Note4高配版
新能源汽车涨势迅猛，1-5月累计产销32.8万辆
集创创亿新里程 ICN2026累计出货量超亿颗
物联网及智能家居和可穿戴应用的相关性
AI芯片 CPU+xPU的异构方案全面解析
5G发展预测,网络将重回有线行业本源
领存X7 2.5寸NVME固态硬盘产品介绍
僵尸网络Vollgar入侵微软近两年 每天有2-3千个数据库被攻陷
pcb覆铜步骤
我们能否扩展现有的预训练 LLM 的上下文窗口
超声波传感器在筑养路机械行业中的应用解析
日本VR战舰大和号正式竣工 与实物同等大小
当心健康数据泄露！加固平板助力医疗保健保护患者隐私
LED应用过程中的常见问题解析
Synaptics Natural ID指纹传感器获得业界首个银行卡检测中心认证
手机拍照技术新升级,全像素双核疾速对焦技术才是正确的拍照姿势
过程分析仪器CAN网络通信设计
华米首次公开招股最大募资额为1.38亿美元
澳柯玛推出的一款中式智能互联冰箱 开启全新智慧生活