数据中心芯片中人工智能加速器的五个设计注意事项
数据中心对高性能硬件加速器的需求不断增长，这些芯片在深度学习、图像分类、对象检测和识别以及自然语言处理等应用中采用人工智能技术。这些基于硬件加速器的芯片正在迅速取代传统的 cpu 和 gpu，因为它们能够以更低的功耗更快地处理 ai 任务。
硬件加速器——执行基于云的训练、数据分析、基因组学和搜索排名等特定任务的专用设备——被嵌入到 cpu、gpu、fpga 和 asic 中，以服务于大规模并行的 ai 工作负载。还有 ai 加速卡，例如 xilinx 的 alveo u50和 intel 的 d5005，可以处理更专业和计算密集型的工作负载。
fpga 为数据中心服务器设计中的 cpu 提供工作负载加速。（图片：英特尔）
那么对于从事以人工智能为中心的数据中心和云计算环境的工程师来说，与硬件加速器相关的基本设计考虑是什么？本文深入探讨了一些值得关注的关键问题。
电源效率ai 芯片和加速器卡的设计和构建优先考虑数据中心中的两个关键现实世界考虑因素：尽可能快地执行训练和推理任务，并在给定的功率预算内完成。ai 芯片为视频内容流和大规模模拟等数据中心应用程序提供高耗电工作负载，因此这些 ai 芯片中的硬件加速器必须在处理复杂工作负载时确保能源效率。
当总部位于中国上海的燎原科技宣布与 globalfoundries （gf） 合作推出用于数据中心培训的深度学习解决方案时，基于云的 ai 培训平台的高能效数据处理被提及为关键价值主张。该公司的 深度思考单元 （dtu）加速器芯片基于格芯的 12lp finfet 平台，采用 2.5d 封装。
数据中心正在膨胀，运营商正在寻找新的方法来加速从深度学习到自然语言处理等一系列数据驱动的工作负载。我们在即将到来的数据中心特别项目中深入研究了加速模型训练和推理、数据分析和其他分布式应用程序的敏捷和超融合数据中心架构。
硬件加速器架构除了能效这一数据中心环境中的主要问题之外，ai 芯片设计人员还必须确定要加速什么、如何加速以及如何在各种神经网络（cnn、dnn 和 rnn）上运行加速器，以及广泛的数据类型。这反过来又强调了如何在 ai 芯片上构建多个硬件加速器的重要性。
ai 设计人员正在对算法进行越来越精细的切片，同时添加更多硬件加速器，以满足现代数据中心工作负载处理和分析庞大数据集的不断变化的需求。这使得硬件架构对于处理机器视觉、深度学习和其他 ai 工作负载至关重要。
英伟达收购 mellanox就是一个很好的例子。mellanox 的互连技术可以帮助领先的 ai 芯片制造商创建更全面的架构，并支持包含数万个计算节点的数据中心规模的工作负载。高效的互连技术提高了神经网络训练的速度和准确性，并降低了数据中心的功耗。
可编程加速器另一项收购指出了对 ai 加速器的另一个关键要求：可编程性。当英特尔 以大约 20 亿美元的价格收购总部位于以色列的深度学习加速器开发商habana labs时，主要是 habana 数据中心加速器的可编程性成为头条新闻。随后，英特尔停止了其内部 nervana 神经网络处理器系列的开发。
可编程性功能使 ai 设计人员能够满足各种工作负载和神经网络拓扑的需求。当软件算法的变化速度超过人工智能芯片的开发速度时，这一点尤其重要，这使得硬件加速器成为固定功能的设备。
在这里，可编程性使 ai 加速器能够适应不断变化的数据中心设计需求。例如，具有可编程功能的灵活架构可以帮助 ai 设计人员管理不断变化的工作负载、新标准和更新的算法。
人工智能设计生态系统上述两项收购也表明人工智能芯片制造商正在努力拼凑包括硬件和软件在内的广泛技术组合。英特尔和英伟达等公司的目标是提供从人工智能处理器到人工智能软件工具包的产品。
因此，人工智能设计人员必须仔细审查用于模型创建、芯片评估和概念验证设计的开发工具的可用性。检查硬件加速器支持哪些 ai 框架（caffe、pytorch、tensorflow 等）也是值得的。
然后是软件开发工具包，将 tensorflow 等 ai 框架作为学习环境，并提供迎合学习模型和推理处理的数据转换工具。
开发套件如何促进数据中心工作负载的 ai 加速（图片：xilinx）
硬件加速器 ip集成到芯片中的 ai 加速器也可用作硬件 ip。几家半导体公司通过 ip 许可模式提供用于定制芯片的 ai 加速器。
以加州米尔皮塔斯的 gyrfalcon technology inc. （gti） 为例，该公司为数据中心设计 ai 芯片，并为数据中心芯片提供 lightspeeur 2803加速器 ip。gyrfalcon 为被许可方提供 usb 3.0 加密狗，人工智能芯片设计人员可以在 windows 和 linux pc 以及 raspberry pi 等硬件开发套件上使用这些加密狗。
小米笔记本Air新品发布，更适合经常出差或者旅行的用户
技术驱动，数据赋能，华为云 GaussDB 给世界一个更优选择
新型消毒机器人上岗 助力打赢疫情防控阻击战
单模光纤与多模光纤有什么区别
还在等小米6发布? OPPO R11将会带来更多的惊喜
数据中心芯片中人工智能加速器的五个设计注意事项
5G消息重构服务入口，建立良性循环生态圈
华为火力太猛！理想全军商讨：锁定为最强对手，不再直接迎战
机械能守恒的条件以及判断方法
为何折叠屏手机受众群体少?
3D三维激光扫描机的原理和特点
说不完道不尽的氮化镓，氮化镓（GaN）具有哪些功能
NV官方晒出测试《赛博朋克2077》，支持光追和DLSS RTX 30显卡都能轻松驾驭
科凯电子无控股股东，王科马勒思借款股权受让引发质疑
Synopsys：30天三大举措，无缝服务中国半导体产业
体制机制改革和全媒体人才培养是实现媒体融合向纵深发展的关键
浅谈2021年热门的存储器应用领域
工字插件电感厂家科普工字插件电感选型方法
看斯坦福牛人如何解决锂离子电池爆炸问题
AMD RX 6700 XT显卡正式解禁上市
硬件加速器——执行基于云的训练、数据分析、基因组学和搜索排名等特定任务的专用设备——被嵌入到 cpu、gpu、fpga 和 asic 中，以服务于大规模并行的 ai 工作负载。还有 ai 加速卡，例如 xilinx 的 alveo u50和 intel 的 d5005，可以处理更专业和计算密集型的工作负载。
fpga 为数据中心服务器设计中的 cpu 提供工作负载加速。（图片：英特尔）
那么对于从事以人工智能为中心的数据中心和云计算环境的工程师来说，与硬件加速器相关的基本设计考虑是什么？本文深入探讨了一些值得关注的关键问题。
电源效率ai 芯片和加速器卡的设计和构建优先考虑数据中心中的两个关键现实世界考虑因素：尽可能快地执行训练和推理任务，并在给定的功率预算内完成。ai 芯片为视频内容流和大规模模拟等数据中心应用程序提供高耗电工作负载，因此这些 ai 芯片中的硬件加速器必须在处理复杂工作负载时确保能源效率。
当总部位于中国上海的燎原科技宣布与 globalfoundries （gf） 合作推出用于数据中心培训的深度学习解决方案时，基于云的 ai 培训平台的高能效数据处理被提及为关键价值主张。该公司的 深度思考单元 （dtu）加速器芯片基于格芯的 12lp finfet 平台，采用 2.5d 封装。
数据中心正在膨胀，运营商正在寻找新的方法来加速从深度学习到自然语言处理等一系列数据驱动的工作负载。我们在即将到来的数据中心特别项目中深入研究了加速模型训练和推理、数据分析和其他分布式应用程序的敏捷和超融合数据中心架构。
硬件加速器架构除了能效这一数据中心环境中的主要问题之外，ai 芯片设计人员还必须确定要加速什么、如何加速以及如何在各种神经网络（cnn、dnn 和 rnn）上运行加速器，以及广泛的数据类型。这反过来又强调了如何在 ai 芯片上构建多个硬件加速器的重要性。
ai 设计人员正在对算法进行越来越精细的切片，同时添加更多硬件加速器，以满足现代数据中心工作负载处理和分析庞大数据集的不断变化的需求。这使得硬件架构对于处理机器视觉、深度学习和其他 ai 工作负载至关重要。
英伟达收购 mellanox就是一个很好的例子。mellanox 的互连技术可以帮助领先的 ai 芯片制造商创建更全面的架构，并支持包含数万个计算节点的数据中心规模的工作负载。高效的互连技术提高了神经网络训练的速度和准确性，并降低了数据中心的功耗。
可编程加速器另一项收购指出了对 ai 加速器的另一个关键要求：可编程性。当英特尔 以大约 20 亿美元的价格收购总部位于以色列的深度学习加速器开发商habana labs时，主要是 habana 数据中心加速器的可编程性成为头条新闻。随后，英特尔停止了其内部 nervana 神经网络处理器系列的开发。
可编程性功能使 ai 设计人员能够满足各种工作负载和神经网络拓扑的需求。当软件算法的变化速度超过人工智能芯片的开发速度时，这一点尤其重要，这使得硬件加速器成为固定功能的设备。
在这里，可编程性使 ai 加速器能够适应不断变化的数据中心设计需求。例如，具有可编程功能的灵活架构可以帮助 ai 设计人员管理不断变化的工作负载、新标准和更新的算法。
人工智能设计生态系统上述两项收购也表明人工智能芯片制造商正在努力拼凑包括硬件和软件在内的广泛技术组合。英特尔和英伟达等公司的目标是提供从人工智能处理器到人工智能软件工具包的产品。
因此，人工智能设计人员必须仔细审查用于模型创建、芯片评估和概念验证设计的开发工具的可用性。检查硬件加速器支持哪些 ai 框架（caffe、pytorch、tensorflow 等）也是值得的。
然后是软件开发工具包，将 tensorflow 等 ai 框架作为学习环境，并提供迎合学习模型和推理处理的数据转换工具。
开发套件如何促进数据中心工作负载的 ai 加速（图片：xilinx）
硬件加速器 ip集成到芯片中的 ai 加速器也可用作硬件 ip。几家半导体公司通过 ip 许可模式提供用于定制芯片的 ai 加速器。
以加州米尔皮塔斯的 gyrfalcon technology inc. （gti） 为例，该公司为数据中心设计 ai 芯片，并为数据中心芯片提供 lightspeeur 2803加速器 ip。gyrfalcon 为被许可方提供 usb 3.0 加密狗，人工智能芯片设计人员可以在 windows 和 linux pc 以及 raspberry pi 等硬件开发套件上使用这些加密狗。
小米笔记本Air新品发布，更适合经常出差或者旅行的用户
技术驱动，数据赋能，华为云 GaussDB 给世界一个更优选择
新型消毒机器人上岗 助力打赢疫情防控阻击战
单模光纤与多模光纤有什么区别
还在等小米6发布? OPPO R11将会带来更多的惊喜
数据中心芯片中人工智能加速器的五个设计注意事项
5G消息重构服务入口，建立良性循环生态圈
华为火力太猛！理想全军商讨：锁定为最强对手，不再直接迎战
机械能守恒的条件以及判断方法
为何折叠屏手机受众群体少?
3D三维激光扫描机的原理和特点
说不完道不尽的氮化镓，氮化镓（GaN）具有哪些功能
NV官方晒出测试《赛博朋克2077》，支持光追和DLSS RTX 30显卡都能轻松驾驭
科凯电子无控股股东，王科马勒思借款股权受让引发质疑
Synopsys：30天三大举措，无缝服务中国半导体产业
体制机制改革和全媒体人才培养是实现媒体融合向纵深发展的关键
浅谈2021年热门的存储器应用领域
工字插件电感厂家科普工字插件电感选型方法
看斯坦福牛人如何解决锂离子电池爆炸问题
AMD RX 6700 XT显卡正式解禁上市