为什么如今有这么多AI加速器可供选择？它们和CPU有什么不同？
此刻，你应该是在电脑或手机上看这篇文章。不管怎样，这些机器都属于现代计算机，它们都有中央处理器（cpu）和其他为特定功能服务的专用芯片，例如显卡、声卡、网卡、传感器融合等。处理特定任务时，专用处理器往往比通用cpu更快更高效。
计算机发展早期，cpu都会和专用处理器配合使用。1970年代的8位和16位cpu需要依赖软件来模拟浮点指令，因此执行浮点运算非常慢。而由于计算机辅助设计（cad）和工程模拟等应用对浮点运算的速度要求较高，于是人们开始用数学协处理器（math coprocessor）辅助cpu，让数学协处理器分担所有浮点运算任务，它的浮点运算速度和效率都比cpu更高。这就是专用处理器的一个例子。
关注ai和半导体行业的朋友近来可能听说过“机器学习（ml）专用处理器”（即ai加速器）。最常见的ai加速器莫过于nvidia gpu，此外还有intel的habana gaudi处理器、graphcore的bow ipu、google的tpu、aws的trainium和inferentia芯片等。
为什么如今有这么多ai加速器可供选择？它们和cpu有什么不同？算法如何改变才能适应这些硬件？硬件又该如何发展才能支持最新的算法？本文将一一解答。本文主要内容包括：
为什么需要专用ai加速器？
ml硬件的分类：cpu、gpu、ai加速器、fpga和asic
“硬件感知（hardware-aware）”的算法和“算法感知（algorithms-aware）”的硬件
ai加速器与高效ml算法的协同进化
针对推理的ai加速器与高效算法
针对训练的ai加速器与高效算法
ai加速器的未来
为什么需要专用ai加速器？
构建ml专用处理器有三个方面的原因：能效、性能、模型大小及复杂度。近来，要提高模型准确率，通常做法是扩大模型参数量，并用更大型的数据集训练模型。计算机视觉、自然语言处理和推荐系统都采用这种做法。 语言模型方面，前几年诞生的gpt-3有1750亿参数，当时被视为大模型的“天花板”，但后来又出现了glam和nvidia mt-nlg，参数量分别达到1.2万亿和5300亿。按照历史规律，模型将越来越大，而现有处理器的算力将无法满足大模型在训练时间和推理延迟方面的要求。
不过，构建ai专用加速器的最重要原因还是能效，开发ai专用芯片可节省巨大的能源，可覆盖研发投入有余。 为什么需要高能效的处理器？ ml模型越大，需要执行的内存访问操作就越多。与内存访问相比，矩阵-矩阵运算和矩阵-向量运算的能效高很多。根据斯坦福大学韩松博士的论文(https://arxiv.org/pdf/1506.02626v3.pdf)，读取内存的能耗比加/乘运算操作的能耗高出好几个数量级。大型神经网络由于无法片上存储，需要执行更多dram读取操作，因此能耗还要更高。
用通用处理器运行深度神经网络时，扩大处理器规模可以带来性能提升，但即便只是小幅提升也须以大量能耗和巨额设备成本为代价。
cpu等通用处理器牺牲低能耗换取通用性，ai加速器等专用处理器则牺牲通用性换取低能耗。
使用ai加速器则不一样。ai加速器通过改进设计，可以减少内存访问，提供更大的片上缓存，还可以具备特定的硬件功能（如加速矩阵-矩阵计算）。由于ai加速器是基于特定而构建的设备，可根据算法进行适配改进，因此其运行效率会比通用处理器更高。
ml硬件的分类——cpu、gpu、ai加速器、fpga和asic
接下来我们谈谈加速器的不同种类，以及它们的通用和专用程度。
如上图所示，最具通用性的是cpu，可以运行任意代码。专用芯片可执行的任务，cpu也能执行，如图像处理、语音处理、机器学习等。然而，cpu的性能和能效都比较低。
专用性最强的是专用集成电路（asic），又称固定功能芯片，因为它只能执行一种或几种任务，而且通常不可编程，也没有面向开发者的api。耳机中的降噪处理器就是一种asic芯片，它需要同时具备低能耗和高性能，这样才能既延长耳机电池使用时间，又能实现低延迟，以免用户看节目时遇到声画不同步的糟糕体验。
上图中，越靠左代表通用性和可编程性越强；越靠右代表专用性和效率越高。那么gpu、fpga和ai加速器分别处于图中什么位置呢？
答案是：它们都处在这两个极端之间。
靠近asic一端的是现场可编程逻辑门阵列（fpga）。顾名思义，fpga是可编程的，但编程人员需要具备硬件设计知识，还须对verilog、vhdl等硬件描述语言（hdl）有一定了解。换言之，fpga编程与硬件关联度太高，而软件开发人员缺乏这方面的编程技能和工具，因此难以对它进行编程。
靠近cpu一端的是gpu。gpu是面向特定目的处理器，擅长处理并行任务，例如图形着色器计算和矩阵乘法。cpu更适合延迟敏感型应用，gpu则更适合要求高吞吐量的应用。gpu与cpu的相似之处在于它们都可编程。而作为并行处理器，gpu使用nvidia cuda和opencl等语言，虽然能处理的任务种类比cpu少，但在运行包含并行任务的代码时极高效。
intel的habana gaudi处理器、aws的trainium和inferentia芯片等ai加速器则处在gpu的右侧。habana gaudi处理器具备可编程性，但通用性比gpu更低，所以应处gpu右侧。aws的inferentia芯片不可编程，但可以加速多种操作，如果你的ml模型不支持这些操作，inferentia就会执行cpu回退（fallback）模式。综上，inferentia应处habana gaudi的右侧。
“硬件感知（hardware-aware）”的算法 和“算法感知（algorithms-aware）”的硬件
通过以上分类，我们对各种处理器有了大致认识。下面我们来谈谈这些处理器如何与软件互相配合。
通用计算模型有两个组成部分：(1)软件与算法；(2)运行软件的硬件处理器。
一般而言，这两部分互相独立——编写软件时很少会考虑软件会在什么硬件上运行；而硬件设计的出发点则是让硬件尽可能支持更多种类的软件。
通用计算模型逐渐演进，需要应用于深度学习等要求高性能和高能效的领域，因此需要加强算法设计和硬件设计之间的联系。现代ml计算模型同样包含两个组成部分：(1)ml算法与软件框架；(2)与ai加速器配合使用的通用处理器。 不同于通用计算模型的开发，ml研发人员会针对特定硬件设计ml算法。
比如，编写代码时可以充分利用硬件的特定功能（如支持多种精度：int8、fp16、bf16、fp32）实现特定的芯片功能（混合精度、结构化稀疏）。然后，用户就可以通过常见的ml软件框架使用这些功能。同理，硬件设计师会针对特定算法构建ai加速器。比如，为加速ml矩阵计算而设计专门的芯片功能（如nvidia在volta gpu架构中引入tensor core）。
这就是ai加速器和ml算法的协同进化。硬件设计师为ai加速器增加ml算法可以使用的功能，而ml研发人员则利用ai加速器的硬件功能量身设计新的算法。
硬件和软件的协同可以带来更好的性能和更高的能效。
ai加速器与高效ml算法的协同进化
ai加速器分为两类：(1)用于训练的ai加速器；(2)用于推理的ai加速器。由于训练和推理的目标不同，而ai加速器是针对特定工作负载的专用处理器，因此有必要为不同类型的工作负载分别设计处理器。 用于训练的ai加速器的目标是减少训练时间，而且应具备能配合训练算法的硬件特点。
因此，ai训练加速器的功率通常较大，内存空间也较大，以满足较高的吞吐量（每秒处理的数据）要求。由于ai训练加速器注重吞吐量，因此提高吞吐量和利用率有助于降低能耗成本（即通过扩大吞吐量降低“能耗/吞吐量”之间的比率）。ai训练加速器还支持混合精度训练，使用较低精度以加快计算速度，使用高精度累积计算结果，从而实现比通用处理器更高的能效。（后文还将详谈ai加速器的混合精度训练。） ai推理加速器的目标是，在运行大量独立数据批次时降低预测延迟，因此需要具备高能效特点，需要降低“能耗/预测”之间的比率。
虽然也可将训练加速器用于推理加速（毕竟训练中的前向传播过程本质上即是一种推理任务），但使用训练加速器时，“能耗/推理”之比会大很多，因为训练加速器处理小型数据批次的推理请求时利用率较低。
训练加速器就像公交车，只有保持乘客满员才能实现高能效（油耗/乘客数之比低）。如果偌大的公交车每次只载一个人，其油耗/乘客数之比将变得极高。而推理加速器就像跑车，其速度比公交车快，只载一人时能效比公交车高（跑车的单名乘客油耗比公交车低）。但如果想用跑车一次载50个人，它就会跑得极慢（何况超载违法）。
下文将分别谈论训练和推理的工作流，以及ai加速器和软件应具备什么特点才能在训练和推理中实现高性能和高能效。
针对推理的ai加速器与高效算法
ml推理即是根据新的数据使用训练好的模型以输出预测结果。本节将讨论ai加速器上运行的可提升推理性能和效率的算法。
提升机器学习效率最重要的方法是量化。要充分理解量化，首先须了解计算机硬件中的数字表示方法。浮点数是数字计算机中用以表示连续实值的离散表示形式。ml算法通常基于ieee 754标准用单精度（fp32）储存和处理数字。ieee 754还规定了ai加速器支持的其他常见浮点类型，如半精度（fp16）和双精度（fp64）。
现代ai加速器也支持ieee 754以外的数字格式，例如bf16（由google brain引进；nvidia ampere gpu、aws inferential、aws tranium、intel habana gaudi和google tpu均支持此格式）和tf32（nvidia ampere架构和aws tranium芯片支持此格式）。推理加速器还支持整数精度，如int8和int4。
量化在推理中的优势
在推理任务中，模型权重和激活函数输出均可被量化，例如可将fp32（训练常用精度）转化为更低精度的表示形式（fp16、bf16和int8）。使用较低精度可以获得更高的性能和能效。当把fp32转化为fp16操作时，数据大小可减半，能耗可减少约75% ，使用的硅面积（silicon area）也可减少约75%。
如果仅从推理的角度考虑硬件设计，可以构建仅供推理使用、仅支持较低精度的加速器，这样就可以缩小加速器的尺寸，并提高能效。将运算结果从fp32转化为int8数据还可进一步减少能耗，因为数据大小减少到原来的1/4。 然而，通过量化方法提升计算效率会损失一定的预测准确性。因为将高精度表示形式转化为低精度本质上是一种压缩，压缩意味着会损失部分数据。
fp32的动态范围比fp16和int8更大，因此，推理中，量化的目的是保留数据中的“信号”，去除数据中的“噪声”，为实现这个目的可以有多种方法。
使用nvidia gpu进行量化
nvidia的ampere和turing等较新gpu架构均支持多种精度类型。2016年，nvidia在pascal架构中首次引进了fp16精度类型，而最新的ampere和turing架构gpu均体现了“硬件与算法的协同进化”。我之前写过一篇文章介绍gpu的完整发展史和不同架构的gpu及其特点：choosing the right gpu for deep learning on aws。
本节将聚焦硬件和软件层面如何支持gpu进行量化。 以nvidia 的ampere架构为例。你可以在aws云服务器上通过启动amazon ec2 p4d实例或g5实例体验ampere架构的性能。p4d和g5实例分别使用nvidia的a100和a10g gpu，两款gpu都基于ampere架构，都支持fp64、fp32、fp16、 int8、bf16和tf32精度类型，也都包含一种被nvidia称为“tensor core”的运算单元，用于混合精度计算。推理时用到的重点精度类型只有fp16和int8两种（其他精度类型将在下一节中提到训练时详谈）。
大多数深度学习框架都使用nvidia gpu和fp32格式训练模型，因此nvidia 推出tensorrt编译器，用以加快推理速度。tensorrt可将fp32格式的模型权重和激活函数量化为fp16和int8格式。量化时，tensorrt先确定一个比例因子（scaling factor），然后根据该系数将fp32的动态范围映射到fp16或int8的动态范围。
映射到int8的难度尤其高，因为int8的动态范围比fp32小太多。int8仅能表示256个数值，而fp32足足能表示4.2×109个数值。 如何在通过量化提高推理速度的同时减少精度损失？一般有两种方法：
训练后量化（ptq）：使用一个训练好的、以fp32格式计算的模型，确定比例因子，然后将fp32映射为int8。确定比例因子的方法是：tensorrt衡量每个神经网络层中激活函数输出的分布，然后找到一个使参考分布（reference distribution）和量化分布（quantized distribution）之间信息损失（kl散度）最小的比例因子。
量化感知训练（qat）：在训练中计算比例因子，使模型可以适应信息损失并将信息损失降到最低。
可见，硬件不断发展，具备更多可提升效率的功能（如降低精度）。同时，算法也不断进化，可以更好地利用硬件的功能。 我的另一篇文章提供了nvidia tensorrt在gpu上实行量化的代码示例。
使用aws inferentia芯片进行量化
nvidia gpu设计之初用于图像处理加速，后来才演变成强大的ai加速器，而aws inferentia芯片一开始即是为机器学习推理而生。 每块aws inferentia芯片含4个neuroncore。neuroncore是基于脉动阵列的矩阵相乘引擎，有两级存储层次结构和极大的片上缓存空间。
aws inferentia芯片支持fp16、bf16和int8数据类型，不支持更高精度的格式——毕竟aws inferentia是一种推理专用处理器，推理时无须用到更高的精度。正如nvidia为gpu推出了tensorrt编译器，aws也推出了aws neuron sdk和aws neuron编译器，该编译器支持量化和优化，可提高推理效率。
尽管aws inferentia芯片支持int8格式，但截至本文撰写时，aws neuron编译器只支持量化到fp16和bf16格式。用fp32格式训练的模型会在编译过程中自动被转化为bf16格式。如果在使用aws neuron编译器之前人工将fp32格式的权重量化为fp16，那么编译器就会保留fp16精度用于推理。
与gpu相比，aws inferentia芯片不可编程，专用性比gpu更强，更接近asic。如果模型中包含的操作均为aws inferentia所支持，那么对于特定的模型和批次规模（batch size）而言，使用inferentia就比使用gpu更能提高模型的能效。然而，如果模型含有inferentia不支持的操作，aws neuron编译器会自动将相应操作置于主机cpu上，这就导致cpu和加速器之间需要进行数据搬运，进而降低性能和效率。
针对训练的ai加速器与高效算法
ml训练即利用训练数据优化模型参数，以提高模型的预测准确度。本节将讨论ai加速器上运行的算法如何提升推理性能和能效。
接下来我们依旧会讨论精度，不过这次是从训练工作流的角度。如前所述，训练时，模型权重和激活函数都以fp32格式存储，fp32遵循早在深度学习之前就诞生的ieee 754浮点数标准。fp32之所以被选为机器学习默认的浮点数表示形式，是因为训练时fp16可表示的信息量不够大，而fp64可表示的信息量则太大，而且也不必用到这么高的精度。机器学习需要一种精度处在fp16 和fp64之间的表示格式，但当时的硬件并不支持。
换言之，当时的硬件并不能满足ml算法的需求，并未成为“算法感知”的硬件。 如果当时的ml研究人员有更好的选择，他们应该会选一种不同于fp32的格式，或者使用混合精度来提升性能和效率。混合精度也正是目前ai加速器的发展方向。实现混合精度，需要硬件和算法的协同设计。
混合精度训练提升性能与效率
矩阵乘法运算是神经网络训练和推理的基本操作。ai加速器的主要工作即为在神经网络的不同层中将输入数据和权重的大型矩阵相乘。混合精度训练背后的思想是，训练时的矩阵乘法发生在较低精度表示（fp16、bf16、tf32），因此它们更快和能效更高，然后用fp32格式累积运算结果，以降低信息损失，从而提升训练速度和能效。
使用nvidia gpu进行混合精度训练
2017年，nvidia宣布推出volta gpu架构，其中包含专门用于机器学习的tensor core运算单元。tensor core通过fp16运算和fp32累积结果实现混合精度训练（https://arxiv.org/abs/1710.03740）。nvidia的新一代新架构还支持更多低精度格式（bf16、tf32）。在芯片层次，tensor core执行低精度（reduced-precision）融合乘加（fma）运算，用fp32累积结果。 每一代nvidia架构的进步都体现了硬件和算法之间的协同设计和协同发展。
nvidia volta架构（2017）引入第一代tensor core，当时仅支持fp16运算和fp32累积结果。
nvidia turing架构（2018）的tensor core支持更低精度的int8和int4（主要可以加速推理，而非加速训练）。
nvidia ampere架构（2020）的tensor core还支持bf16和tf32，也就是说，它可以执行fp16、bf16和tf32运算，并且用fp32累积结果，以实现混合精度
混合精度训练的一大难点是软件层面的实现。用户必须在训练时执行额外的操作，比如将权重转化为fp16格式，但同时会保留权重的fp32副本和损失缩放（loss scaling）。尽管nvidia可以让深度学习框架在只需修改少量代码的情况下执行这些操作，它对用户的要求依然很高，不像使用fp32训练那么简单。
nvidia的ampere架构支持tf32，可以有效解决这一用户体验难题。tf32格式的好处在于，它结合了fp32的动态范围和fp16的精度，因此深度学习框架无需转换格式和保留副本等额外操作即可直接支持tf32格式。然而，在为开发者减少麻烦的情况下，使用tf32可实现比fp32更好的性能，但nvidia依然推荐使用fp16或bf16格式进行混合精度训练，以便获得最快的训练性能。
使用其他ai加速器进行混合精度训练
intel habana gaudi处理器 habana gaudi加速器支持混合精度训练的方式与nvidia gpu类似——通过一个附加工具配合深度学习框架，使用格式转换和副本保存功能。若想体验intel habana gaudi ai加速器的功能，可以通过aws云服务器启动amazon ec2 dl1实例，该实例配备8个gaudi加速器。
aws tranium芯片 aws在2021年re:invent大会上宣布推出tranium芯片，该芯片由aws的annapurna实验室研发，用于ai加速。目前，tranium 芯片尚未得到大规模应用。aws在大会上介绍称，tranium将支持fp16、tf32、bf16、int8，以及一种称为cfp8（定制8位浮点数）的全新格式。
ai加速器的未来
如今，ml算法研究和硬件设计都在蓬勃发展。ai加速器也将在性能和能效方面持续进步，逐渐可以像通用处理器一样无缝使用。 现代的ai加速器已具备理想中的硬件功能，例如支持int1和int4，这两种精度类型尚未被用于训练和推理，但或许它们的存在可以催生新的ml算法。ai加速器之间的互联也渐见革新。 随着模型规模越来越大，我们需要更大的计算集群，将更多ai加速器连接起来，从而支持更大的工作负载。
为此，nvidia推出了高带宽的nvlink和nvswitch，用于gpu之间的互联；intel的habana gaudi处理器则在片上集成了基于以太网的roce rdma。未来ai应用将更加广泛， ai加速器也将成为现代计算环境的中流砥柱。 希望未来的ai加速器带来更好的用户和开发者体验。
如今的异构计算模型需要协调多个cpu和ai加速器，对大部分数据科学家和开发人员而言，掌握它们的联网和存储设置难度颇高。使用amazon sagemaker等云托管服务可省去管理基础设施的麻烦，可以方便地扩大机器学习规模，然而，开源框架仍希望用户对底层硬件、精度类型、编译器选择和联网原语等有较深的了解。
未来，开发人员可以登入远程ide，然后使用开源ml框架运行代码，而不必考虑代码在何种设备上以何种方式运行。
他们唯一需要思考的只是成本和速度之间的权衡——想获得高速度就多花钱，想省钱就在速度上妥协。我是个乐观的人，我认为距离这样的未来已经不远了。
用于交互式激光投影应用的MEMS扫描仪BML050
拆解USB无线网卡过程
常见流量仪表选型原则和方法
导电剂含量对电性能的影响
日美澳将展开合作以降低对锂电池原料的依赖
为什么如今有这么多AI加速器可供选择？它们和CPU有什么不同？
区块链会成为以后网络安全有效的保障吗
换用研控的运动控制卡产品来解决常见位置偏差问题
为什么要用单电芯双回路技术？单电芯双回路技术优势
国内或增6个SiC项目，最高30万片！
表面贴技术选择的问题分析
国家电网新时代战略目标开启卓越新征程
一起来围观！这些正在被汽车电气化重塑的车载元器件
连接器的正确使用方法
分析一些具体的区块链项目算法
iphone8什么时候上市?iphone8最新消息:iphone8或推迟至11月发布,原因竟是因为OLED产能不足?
尽管彩电行业在2020年受挫，但是依然有着多个可能产生增量的关键点
max705应用电路
马自达CX-3什么时候上市？马自达CX-3采用马自达魂动家族设计,有望10月份进口上市,或11万起售！
纳米材料的特点是什么
计算机发展早期，cpu都会和专用处理器配合使用。1970年代的8位和16位cpu需要依赖软件来模拟浮点指令，因此执行浮点运算非常慢。而由于计算机辅助设计（cad）和工程模拟等应用对浮点运算的速度要求较高，于是人们开始用数学协处理器（math coprocessor）辅助cpu，让数学协处理器分担所有浮点运算任务，它的浮点运算速度和效率都比cpu更高。这就是专用处理器的一个例子。
关注ai和半导体行业的朋友近来可能听说过“机器学习（ml）专用处理器”（即ai加速器）。最常见的ai加速器莫过于nvidia gpu，此外还有intel的habana gaudi处理器、graphcore的bow ipu、google的tpu、aws的trainium和inferentia芯片等。
为什么如今有这么多ai加速器可供选择？它们和cpu有什么不同？算法如何改变才能适应这些硬件？硬件又该如何发展才能支持最新的算法？本文将一一解答。本文主要内容包括：
为什么需要专用ai加速器？
ml硬件的分类：cpu、gpu、ai加速器、fpga和asic
“硬件感知（hardware-aware）”的算法和“算法感知（algorithms-aware）”的硬件
ai加速器与高效ml算法的协同进化
针对推理的ai加速器与高效算法
针对训练的ai加速器与高效算法
ai加速器的未来
为什么需要专用ai加速器？
构建ml专用处理器有三个方面的原因：能效、性能、模型大小及复杂度。近来，要提高模型准确率，通常做法是扩大模型参数量，并用更大型的数据集训练模型。计算机视觉、自然语言处理和推荐系统都采用这种做法。 语言模型方面，前几年诞生的gpt-3有1750亿参数，当时被视为大模型的“天花板”，但后来又出现了glam和nvidia mt-nlg，参数量分别达到1.2万亿和5300亿。按照历史规律，模型将越来越大，而现有处理器的算力将无法满足大模型在训练时间和推理延迟方面的要求。
不过，构建ai专用加速器的最重要原因还是能效，开发ai专用芯片可节省巨大的能源，可覆盖研发投入有余。 为什么需要高能效的处理器？ ml模型越大，需要执行的内存访问操作就越多。与内存访问相比，矩阵-矩阵运算和矩阵-向量运算的能效高很多。根据斯坦福大学韩松博士的论文(https://arxiv.org/pdf/1506.02626v3.pdf)，读取内存的能耗比加/乘运算操作的能耗高出好几个数量级。大型神经网络由于无法片上存储，需要执行更多dram读取操作，因此能耗还要更高。
用通用处理器运行深度神经网络时，扩大处理器规模可以带来性能提升，但即便只是小幅提升也须以大量能耗和巨额设备成本为代价。
cpu等通用处理器牺牲低能耗换取通用性，ai加速器等专用处理器则牺牲通用性换取低能耗。
使用ai加速器则不一样。ai加速器通过改进设计，可以减少内存访问，提供更大的片上缓存，还可以具备特定的硬件功能（如加速矩阵-矩阵计算）。由于ai加速器是基于特定而构建的设备，可根据算法进行适配改进，因此其运行效率会比通用处理器更高。
ml硬件的分类——cpu、gpu、ai加速器、fpga和asic
接下来我们谈谈加速器的不同种类，以及它们的通用和专用程度。
如上图所示，最具通用性的是cpu，可以运行任意代码。专用芯片可执行的任务，cpu也能执行，如图像处理、语音处理、机器学习等。然而，cpu的性能和能效都比较低。
专用性最强的是专用集成电路（asic），又称固定功能芯片，因为它只能执行一种或几种任务，而且通常不可编程，也没有面向开发者的api。耳机中的降噪处理器就是一种asic芯片，它需要同时具备低能耗和高性能，这样才能既延长耳机电池使用时间，又能实现低延迟，以免用户看节目时遇到声画不同步的糟糕体验。
上图中，越靠左代表通用性和可编程性越强；越靠右代表专用性和效率越高。那么gpu、fpga和ai加速器分别处于图中什么位置呢？
答案是：它们都处在这两个极端之间。
靠近asic一端的是现场可编程逻辑门阵列（fpga）。顾名思义，fpga是可编程的，但编程人员需要具备硬件设计知识，还须对verilog、vhdl等硬件描述语言（hdl）有一定了解。换言之，fpga编程与硬件关联度太高，而软件开发人员缺乏这方面的编程技能和工具，因此难以对它进行编程。
靠近cpu一端的是gpu。gpu是面向特定目的处理器，擅长处理并行任务，例如图形着色器计算和矩阵乘法。cpu更适合延迟敏感型应用，gpu则更适合要求高吞吐量的应用。gpu与cpu的相似之处在于它们都可编程。而作为并行处理器，gpu使用nvidia cuda和opencl等语言，虽然能处理的任务种类比cpu少，但在运行包含并行任务的代码时极高效。
intel的habana gaudi处理器、aws的trainium和inferentia芯片等ai加速器则处在gpu的右侧。habana gaudi处理器具备可编程性，但通用性比gpu更低，所以应处gpu右侧。aws的inferentia芯片不可编程，但可以加速多种操作，如果你的ml模型不支持这些操作，inferentia就会执行cpu回退（fallback）模式。综上，inferentia应处habana gaudi的右侧。
“硬件感知（hardware-aware）”的算法 和“算法感知（algorithms-aware）”的硬件
通过以上分类，我们对各种处理器有了大致认识。下面我们来谈谈这些处理器如何与软件互相配合。
通用计算模型有两个组成部分：(1)软件与算法；(2)运行软件的硬件处理器。
一般而言，这两部分互相独立——编写软件时很少会考虑软件会在什么硬件上运行；而硬件设计的出发点则是让硬件尽可能支持更多种类的软件。
通用计算模型逐渐演进，需要应用于深度学习等要求高性能和高能效的领域，因此需要加强算法设计和硬件设计之间的联系。现代ml计算模型同样包含两个组成部分：(1)ml算法与软件框架；(2)与ai加速器配合使用的通用处理器。 不同于通用计算模型的开发，ml研发人员会针对特定硬件设计ml算法。
比如，编写代码时可以充分利用硬件的特定功能（如支持多种精度：int8、fp16、bf16、fp32）实现特定的芯片功能（混合精度、结构化稀疏）。然后，用户就可以通过常见的ml软件框架使用这些功能。同理，硬件设计师会针对特定算法构建ai加速器。比如，为加速ml矩阵计算而设计专门的芯片功能（如nvidia在volta gpu架构中引入tensor core）。
这就是ai加速器和ml算法的协同进化。硬件设计师为ai加速器增加ml算法可以使用的功能，而ml研发人员则利用ai加速器的硬件功能量身设计新的算法。
硬件和软件的协同可以带来更好的性能和更高的能效。
ai加速器与高效ml算法的协同进化
ai加速器分为两类：(1)用于训练的ai加速器；(2)用于推理的ai加速器。由于训练和推理的目标不同，而ai加速器是针对特定工作负载的专用处理器，因此有必要为不同类型的工作负载分别设计处理器。 用于训练的ai加速器的目标是减少训练时间，而且应具备能配合训练算法的硬件特点。
因此，ai训练加速器的功率通常较大，内存空间也较大，以满足较高的吞吐量（每秒处理的数据）要求。由于ai训练加速器注重吞吐量，因此提高吞吐量和利用率有助于降低能耗成本（即通过扩大吞吐量降低“能耗/吞吐量”之间的比率）。ai训练加速器还支持混合精度训练，使用较低精度以加快计算速度，使用高精度累积计算结果，从而实现比通用处理器更高的能效。（后文还将详谈ai加速器的混合精度训练。） ai推理加速器的目标是，在运行大量独立数据批次时降低预测延迟，因此需要具备高能效特点，需要降低“能耗/预测”之间的比率。
虽然也可将训练加速器用于推理加速（毕竟训练中的前向传播过程本质上即是一种推理任务），但使用训练加速器时，“能耗/推理”之比会大很多，因为训练加速器处理小型数据批次的推理请求时利用率较低。
训练加速器就像公交车，只有保持乘客满员才能实现高能效（油耗/乘客数之比低）。如果偌大的公交车每次只载一个人，其油耗/乘客数之比将变得极高。而推理加速器就像跑车，其速度比公交车快，只载一人时能效比公交车高（跑车的单名乘客油耗比公交车低）。但如果想用跑车一次载50个人，它就会跑得极慢（何况超载违法）。
下文将分别谈论训练和推理的工作流，以及ai加速器和软件应具备什么特点才能在训练和推理中实现高性能和高能效。
针对推理的ai加速器与高效算法
ml推理即是根据新的数据使用训练好的模型以输出预测结果。本节将讨论ai加速器上运行的可提升推理性能和效率的算法。
提升机器学习效率最重要的方法是量化。要充分理解量化，首先须了解计算机硬件中的数字表示方法。浮点数是数字计算机中用以表示连续实值的离散表示形式。ml算法通常基于ieee 754标准用单精度（fp32）储存和处理数字。ieee 754还规定了ai加速器支持的其他常见浮点类型，如半精度（fp16）和双精度（fp64）。
现代ai加速器也支持ieee 754以外的数字格式，例如bf16（由google brain引进；nvidia ampere gpu、aws inferential、aws tranium、intel habana gaudi和google tpu均支持此格式）和tf32（nvidia ampere架构和aws tranium芯片支持此格式）。推理加速器还支持整数精度，如int8和int4。
量化在推理中的优势
在推理任务中，模型权重和激活函数输出均可被量化，例如可将fp32（训练常用精度）转化为更低精度的表示形式（fp16、bf16和int8）。使用较低精度可以获得更高的性能和能效。当把fp32转化为fp16操作时，数据大小可减半，能耗可减少约75% ，使用的硅面积（silicon area）也可减少约75%。
如果仅从推理的角度考虑硬件设计，可以构建仅供推理使用、仅支持较低精度的加速器，这样就可以缩小加速器的尺寸，并提高能效。将运算结果从fp32转化为int8数据还可进一步减少能耗，因为数据大小减少到原来的1/4。 然而，通过量化方法提升计算效率会损失一定的预测准确性。因为将高精度表示形式转化为低精度本质上是一种压缩，压缩意味着会损失部分数据。
fp32的动态范围比fp16和int8更大，因此，推理中，量化的目的是保留数据中的“信号”，去除数据中的“噪声”，为实现这个目的可以有多种方法。
使用nvidia gpu进行量化
nvidia的ampere和turing等较新gpu架构均支持多种精度类型。2016年，nvidia在pascal架构中首次引进了fp16精度类型，而最新的ampere和turing架构gpu均体现了“硬件与算法的协同进化”。我之前写过一篇文章介绍gpu的完整发展史和不同架构的gpu及其特点：choosing the right gpu for deep learning on aws。
本节将聚焦硬件和软件层面如何支持gpu进行量化。 以nvidia 的ampere架构为例。你可以在aws云服务器上通过启动amazon ec2 p4d实例或g5实例体验ampere架构的性能。p4d和g5实例分别使用nvidia的a100和a10g gpu，两款gpu都基于ampere架构，都支持fp64、fp32、fp16、 int8、bf16和tf32精度类型，也都包含一种被nvidia称为“tensor core”的运算单元，用于混合精度计算。推理时用到的重点精度类型只有fp16和int8两种（其他精度类型将在下一节中提到训练时详谈）。
大多数深度学习框架都使用nvidia gpu和fp32格式训练模型，因此nvidia 推出tensorrt编译器，用以加快推理速度。tensorrt可将fp32格式的模型权重和激活函数量化为fp16和int8格式。量化时，tensorrt先确定一个比例因子（scaling factor），然后根据该系数将fp32的动态范围映射到fp16或int8的动态范围。
映射到int8的难度尤其高，因为int8的动态范围比fp32小太多。int8仅能表示256个数值，而fp32足足能表示4.2×109个数值。 如何在通过量化提高推理速度的同时减少精度损失？一般有两种方法：
训练后量化（ptq）：使用一个训练好的、以fp32格式计算的模型，确定比例因子，然后将fp32映射为int8。确定比例因子的方法是：tensorrt衡量每个神经网络层中激活函数输出的分布，然后找到一个使参考分布（reference distribution）和量化分布（quantized distribution）之间信息损失（kl散度）最小的比例因子。
量化感知训练（qat）：在训练中计算比例因子，使模型可以适应信息损失并将信息损失降到最低。
可见，硬件不断发展，具备更多可提升效率的功能（如降低精度）。同时，算法也不断进化，可以更好地利用硬件的功能。 我的另一篇文章提供了nvidia tensorrt在gpu上实行量化的代码示例。
使用aws inferentia芯片进行量化
nvidia gpu设计之初用于图像处理加速，后来才演变成强大的ai加速器，而aws inferentia芯片一开始即是为机器学习推理而生。 每块aws inferentia芯片含4个neuroncore。neuroncore是基于脉动阵列的矩阵相乘引擎，有两级存储层次结构和极大的片上缓存空间。
aws inferentia芯片支持fp16、bf16和int8数据类型，不支持更高精度的格式——毕竟aws inferentia是一种推理专用处理器，推理时无须用到更高的精度。正如nvidia为gpu推出了tensorrt编译器，aws也推出了aws neuron sdk和aws neuron编译器，该编译器支持量化和优化，可提高推理效率。
尽管aws inferentia芯片支持int8格式，但截至本文撰写时，aws neuron编译器只支持量化到fp16和bf16格式。用fp32格式训练的模型会在编译过程中自动被转化为bf16格式。如果在使用aws neuron编译器之前人工将fp32格式的权重量化为fp16，那么编译器就会保留fp16精度用于推理。
与gpu相比，aws inferentia芯片不可编程，专用性比gpu更强，更接近asic。如果模型中包含的操作均为aws inferentia所支持，那么对于特定的模型和批次规模（batch size）而言，使用inferentia就比使用gpu更能提高模型的能效。然而，如果模型含有inferentia不支持的操作，aws neuron编译器会自动将相应操作置于主机cpu上，这就导致cpu和加速器之间需要进行数据搬运，进而降低性能和效率。
针对训练的ai加速器与高效算法
ml训练即利用训练数据优化模型参数，以提高模型的预测准确度。本节将讨论ai加速器上运行的算法如何提升推理性能和能效。
接下来我们依旧会讨论精度，不过这次是从训练工作流的角度。如前所述，训练时，模型权重和激活函数都以fp32格式存储，fp32遵循早在深度学习之前就诞生的ieee 754浮点数标准。fp32之所以被选为机器学习默认的浮点数表示形式，是因为训练时fp16可表示的信息量不够大，而fp64可表示的信息量则太大，而且也不必用到这么高的精度。机器学习需要一种精度处在fp16 和fp64之间的表示格式，但当时的硬件并不支持。
换言之，当时的硬件并不能满足ml算法的需求，并未成为“算法感知”的硬件。 如果当时的ml研究人员有更好的选择，他们应该会选一种不同于fp32的格式，或者使用混合精度来提升性能和效率。混合精度也正是目前ai加速器的发展方向。实现混合精度，需要硬件和算法的协同设计。
混合精度训练提升性能与效率
矩阵乘法运算是神经网络训练和推理的基本操作。ai加速器的主要工作即为在神经网络的不同层中将输入数据和权重的大型矩阵相乘。混合精度训练背后的思想是，训练时的矩阵乘法发生在较低精度表示（fp16、bf16、tf32），因此它们更快和能效更高，然后用fp32格式累积运算结果，以降低信息损失，从而提升训练速度和能效。
使用nvidia gpu进行混合精度训练
2017年，nvidia宣布推出volta gpu架构，其中包含专门用于机器学习的tensor core运算单元。tensor core通过fp16运算和fp32累积结果实现混合精度训练（https://arxiv.org/abs/1710.03740）。nvidia的新一代新架构还支持更多低精度格式（bf16、tf32）。在芯片层次，tensor core执行低精度（reduced-precision）融合乘加（fma）运算，用fp32累积结果。 每一代nvidia架构的进步都体现了硬件和算法之间的协同设计和协同发展。
nvidia volta架构（2017）引入第一代tensor core，当时仅支持fp16运算和fp32累积结果。
nvidia turing架构（2018）的tensor core支持更低精度的int8和int4（主要可以加速推理，而非加速训练）。
nvidia ampere架构（2020）的tensor core还支持bf16和tf32，也就是说，它可以执行fp16、bf16和tf32运算，并且用fp32累积结果，以实现混合精度
混合精度训练的一大难点是软件层面的实现。用户必须在训练时执行额外的操作，比如将权重转化为fp16格式，但同时会保留权重的fp32副本和损失缩放（loss scaling）。尽管nvidia可以让深度学习框架在只需修改少量代码的情况下执行这些操作，它对用户的要求依然很高，不像使用fp32训练那么简单。
nvidia的ampere架构支持tf32，可以有效解决这一用户体验难题。tf32格式的好处在于，它结合了fp32的动态范围和fp16的精度，因此深度学习框架无需转换格式和保留副本等额外操作即可直接支持tf32格式。然而，在为开发者减少麻烦的情况下，使用tf32可实现比fp32更好的性能，但nvidia依然推荐使用fp16或bf16格式进行混合精度训练，以便获得最快的训练性能。
使用其他ai加速器进行混合精度训练
intel habana gaudi处理器 habana gaudi加速器支持混合精度训练的方式与nvidia gpu类似——通过一个附加工具配合深度学习框架，使用格式转换和副本保存功能。若想体验intel habana gaudi ai加速器的功能，可以通过aws云服务器启动amazon ec2 dl1实例，该实例配备8个gaudi加速器。
aws tranium芯片 aws在2021年re:invent大会上宣布推出tranium芯片，该芯片由aws的annapurna实验室研发，用于ai加速。目前，tranium 芯片尚未得到大规模应用。aws在大会上介绍称，tranium将支持fp16、tf32、bf16、int8，以及一种称为cfp8（定制8位浮点数）的全新格式。
ai加速器的未来
如今，ml算法研究和硬件设计都在蓬勃发展。ai加速器也将在性能和能效方面持续进步，逐渐可以像通用处理器一样无缝使用。 现代的ai加速器已具备理想中的硬件功能，例如支持int1和int4，这两种精度类型尚未被用于训练和推理，但或许它们的存在可以催生新的ml算法。ai加速器之间的互联也渐见革新。 随着模型规模越来越大，我们需要更大的计算集群，将更多ai加速器连接起来，从而支持更大的工作负载。
为此，nvidia推出了高带宽的nvlink和nvswitch，用于gpu之间的互联；intel的habana gaudi处理器则在片上集成了基于以太网的roce rdma。未来ai应用将更加广泛， ai加速器也将成为现代计算环境的中流砥柱。 希望未来的ai加速器带来更好的用户和开发者体验。
如今的异构计算模型需要协调多个cpu和ai加速器，对大部分数据科学家和开发人员而言，掌握它们的联网和存储设置难度颇高。使用amazon sagemaker等云托管服务可省去管理基础设施的麻烦，可以方便地扩大机器学习规模，然而，开源框架仍希望用户对底层硬件、精度类型、编译器选择和联网原语等有较深的了解。
未来，开发人员可以登入远程ide，然后使用开源ml框架运行代码，而不必考虑代码在何种设备上以何种方式运行。
他们唯一需要思考的只是成本和速度之间的权衡——想获得高速度就多花钱，想省钱就在速度上妥协。我是个乐观的人，我认为距离这样的未来已经不远了。
用于交互式激光投影应用的MEMS扫描仪BML050
拆解USB无线网卡过程
常见流量仪表选型原则和方法
导电剂含量对电性能的影响
日美澳将展开合作以降低对锂电池原料的依赖
为什么如今有这么多AI加速器可供选择？它们和CPU有什么不同？
区块链会成为以后网络安全有效的保障吗
换用研控的运动控制卡产品来解决常见位置偏差问题
为什么要用单电芯双回路技术？单电芯双回路技术优势
国内或增6个SiC项目，最高30万片！
表面贴技术选择的问题分析
国家电网新时代战略目标开启卓越新征程
一起来围观！这些正在被汽车电气化重塑的车载元器件
连接器的正确使用方法
分析一些具体的区块链项目算法
iphone8什么时候上市?iphone8最新消息:iphone8或推迟至11月发布,原因竟是因为OLED产能不足?
尽管彩电行业在2020年受挫，但是依然有着多个可能产生增量的关键点
max705应用电路
马自达CX-3什么时候上市？马自达CX-3采用马自达魂动家族设计,有望10月份进口上市,或11万起售！
纳米材料的特点是什么