VMware在vSphere上验证Alveo FPGA性能
硬件加速器已经在数据中心变得司空见惯，大量新的工作负载已经成熟，可以利用 fpga 加速的优势及其更高的计算效率。对机器学习 （ml） 的快速增长的兴趣正在推动在私有、公共和混合云数据中心环境中越来越多地采用 fpga 加速器来加速这种计算密集型工作负载。作为促进 it 基础架构向异构计算转型的一部分，我们最近与 vmware 合作在 vsphere上测试 fpga 加速，vmware的云计算虚拟化平台。鉴于赛灵思 fpga 越来越多地用于 ml 推理加速，我们将展示如何将赛灵思 fpga 与 vmware vsphere 结合使用，以实现虚拟和裸机部署之间几乎相同的高吞吐量和低延迟 ml 推理性能。
自适应计算优势
fpga 是自适应计算设备，可提供重新编程的灵活性以满足所需应用程序的不同处理和功能要求。这一特性将 fpga 与 gpu 和 asic 等固定架构区分开来——更不用说定制 asic 飞涨的成本了。此外，与其他硬件加速器相比，fpga 在实现高能效和低延迟方面也具有优势，这使得 fpga 特别适用于 ml 推理任务。与 gpu 从根本上依赖大量并行处理内核来实现高吞吐量不同，fpga 可以通过定制的硬件内核、数据流管道和互连同时实现 ml 推理的高吞吐量和低延迟。
在 vsphere 上使用 xilinx fpga 进行 ml 推理
vmware 在他们的实验室中使用 xilinx alveo u250 数据中心卡 进行测试。使用 vitis ai中提供的 docker 容器快速配置 ml 模型， vitis ai是 xilinx 统一开发堆栈，用于在 xilinx 硬件平台上从 edge 到 cloud 进行 ml 推理。它由优化的工具、库、模型和示例组成。vitis ai 支持主流框架，包括 caffe 和 tensorflow，以及能够执行各种深度学习任务的最新模型。此外，vitis ai 是开源的，可以在 github 上访问。
vitis ai 软件堆栈
目前，xilinx fpga 可以通过 directpath i/o 模式（直通）在 vsphere 上启用。通过这种方式，我们的 fpga 可以被运行在 vm 中的应用程序直接访问，绕过虚拟机管理程序层，从而最大限度地提高性能并最大限度地减少延迟。在 directpath i/o 模式下配置 fpga 是一个简单的两步过程：首先，在主机级别启用 esxi 上的设备，然后将设备添加到目标 vm。详细说明可在此 vmware 知识库文章中找到。请注意，如果您运行的是 vsphere 7，则不再需要重新引导主机。
高吞吐量、低延迟的机器学习推理性能
vmware 与 xilinx 一起通过使用四个 cnn 模型运行推理来评估我们的 alveo u250 加速卡在 directpath i/o 模式下的吞吐量和延迟性能：inception_v1；初始_v2；资源网50；和 vgg16。这些模型的模型参数数量不同，因此具有不同的处理复杂性。
测试使用了配备两个 10 核 intel xeon silver 4114 cpu 和 192 gb ddr4 内存的 dell poweredge r740 服务器。我们使用了 esxi 7.0 管理程序，并将每个模型的端到端性能结果与作为基准的裸机进行了比较。ubuntu 16.04（内核 4.4.0-116）用作来宾操作系统和本机操作系统。此外，vitis ai v1.1 和 docker ce 19.03.4 用于整个测试。使用从 imagenet2012 派生的 50k 图像数据集，为了进一步避免读取图像的磁盘瓶颈，创建了一个 ram 磁盘并用于存储 50k 图像。
通过这些设置，虚拟和裸机测试之间的性能比较可以在以下两张图中查看，一张用于吞吐量，另一张用于延迟。y 轴是虚拟机和裸机之间的比率，y=1.0 表示虚拟机和裸机的性能相同。
xilinx alveo u250 fpga 机器学习推理的裸机和虚拟机吞吐量性能比较
xilinx alveo u250 fpga 机器学习推理的裸机和虚拟机延迟性能比较
测试验证了虚拟机和裸机之间的性能差距上限为 2%，无论是吞吐量还是延迟。这表明在虚拟环境中用于 ml 推理的 vsphere 上的 alveo u250 的性能几乎与裸机基准相同。
云中的 fpga 性能
瑞萨e2studio----编译调试
深入探讨人工智能与水下机器人的关键技术和前沿方向
线路保护装置逆功率保护功能的设计与应用
亚马逊抢先苹果收购播客企业Wondery
荣耀50和p50有什么区别
VMware在vSphere上验证Alveo FPGA性能
台厂正在加快Mini LED产能扩充和市场布局
日本新型人工智能安全摄像头,可识别潜在的商店扒手
java final关键字用法技巧汇总解析
一站式流量测试解决方案Valkyrie－800G满足流量测试验证需求
工信部高度肯定运营商5G创新：圆满完成春晚直播任务
调速电机控制器 调速电机控制器工作原理
不要乱扔手机电池
测试点对高速信号质量的影响
水分损失测试仪的产品简介及功能特点说明
Murata公司推出业界最薄的嵌入式电容器0402封装电容器
厚膜材料新技术趋势研究——光刻型厚膜浆料
取消免费充电服务！电动汽车进入发展新阶段，充电桩芯片共同进入快车道
基于物联网技术的智慧园区一体化智能管理平台
真我V20成为千元5G手机的新标杆
自适应计算优势
fpga 是自适应计算设备，可提供重新编程的灵活性以满足所需应用程序的不同处理和功能要求。这一特性将 fpga 与 gpu 和 asic 等固定架构区分开来——更不用说定制 asic 飞涨的成本了。此外，与其他硬件加速器相比，fpga 在实现高能效和低延迟方面也具有优势，这使得 fpga 特别适用于 ml 推理任务。与 gpu 从根本上依赖大量并行处理内核来实现高吞吐量不同，fpga 可以通过定制的硬件内核、数据流管道和互连同时实现 ml 推理的高吞吐量和低延迟。
在 vsphere 上使用 xilinx fpga 进行 ml 推理
vmware 在他们的实验室中使用 xilinx alveo u250 数据中心卡 进行测试。使用 vitis ai中提供的 docker 容器快速配置 ml 模型， vitis ai是 xilinx 统一开发堆栈，用于在 xilinx 硬件平台上从 edge 到 cloud 进行 ml 推理。它由优化的工具、库、模型和示例组成。vitis ai 支持主流框架，包括 caffe 和 tensorflow，以及能够执行各种深度学习任务的最新模型。此外，vitis ai 是开源的，可以在 github 上访问。
vitis ai 软件堆栈
目前，xilinx fpga 可以通过 directpath i/o 模式（直通）在 vsphere 上启用。通过这种方式，我们的 fpga 可以被运行在 vm 中的应用程序直接访问，绕过虚拟机管理程序层，从而最大限度地提高性能并最大限度地减少延迟。在 directpath i/o 模式下配置 fpga 是一个简单的两步过程：首先，在主机级别启用 esxi 上的设备，然后将设备添加到目标 vm。详细说明可在此 vmware 知识库文章中找到。请注意，如果您运行的是 vsphere 7，则不再需要重新引导主机。
高吞吐量、低延迟的机器学习推理性能
vmware 与 xilinx 一起通过使用四个 cnn 模型运行推理来评估我们的 alveo u250 加速卡在 directpath i/o 模式下的吞吐量和延迟性能：inception_v1；初始_v2；资源网50；和 vgg16。这些模型的模型参数数量不同，因此具有不同的处理复杂性。
测试使用了配备两个 10 核 intel xeon silver 4114 cpu 和 192 gb ddr4 内存的 dell poweredge r740 服务器。我们使用了 esxi 7.0 管理程序，并将每个模型的端到端性能结果与作为基准的裸机进行了比较。ubuntu 16.04（内核 4.4.0-116）用作来宾操作系统和本机操作系统。此外，vitis ai v1.1 和 docker ce 19.03.4 用于整个测试。使用从 imagenet2012 派生的 50k 图像数据集，为了进一步避免读取图像的磁盘瓶颈，创建了一个 ram 磁盘并用于存储 50k 图像。
通过这些设置，虚拟和裸机测试之间的性能比较可以在以下两张图中查看，一张用于吞吐量，另一张用于延迟。y 轴是虚拟机和裸机之间的比率，y=1.0 表示虚拟机和裸机的性能相同。
xilinx alveo u250 fpga 机器学习推理的裸机和虚拟机吞吐量性能比较
xilinx alveo u250 fpga 机器学习推理的裸机和虚拟机延迟性能比较
测试验证了虚拟机和裸机之间的性能差距上限为 2%，无论是吞吐量还是延迟。这表明在虚拟环境中用于 ml 推理的 vsphere 上的 alveo u250 的性能几乎与裸机基准相同。
云中的 fpga 性能
瑞萨e2studio----编译调试
深入探讨人工智能与水下机器人的关键技术和前沿方向
线路保护装置逆功率保护功能的设计与应用
亚马逊抢先苹果收购播客企业Wondery
荣耀50和p50有什么区别
VMware在vSphere上验证Alveo FPGA性能
台厂正在加快Mini LED产能扩充和市场布局
日本新型人工智能安全摄像头,可识别潜在的商店扒手
java final关键字用法技巧汇总解析
一站式流量测试解决方案Valkyrie－800G满足流量测试验证需求
工信部高度肯定运营商5G创新：圆满完成春晚直播任务
调速电机控制器 调速电机控制器工作原理
不要乱扔手机电池
测试点对高速信号质量的影响
水分损失测试仪的产品简介及功能特点说明
Murata公司推出业界最薄的嵌入式电容器0402封装电容器
厚膜材料新技术趋势研究——光刻型厚膜浆料
取消免费充电服务！电动汽车进入发展新阶段，充电桩芯片共同进入快车道
基于物联网技术的智慧园区一体化智能管理平台
真我V20成为千元5G手机的新标杆