使用NVIDIA Triton推理服务器简化边缘AI模型部署
人工智能机器学习（ ml ）和深度学习（ dl ）正在成为解决机器人、零售、医疗保健、工业等领域各种计算问题的有效工具。对低延迟、实时响应和隐私的需求使运行 ai 应用程序处于边缘。
然而，在边缘的应用程序和服务中部署 ai 模型对基础设施和运营团队来说可能是一项挑战。不同的框架、端到端延迟要求以及缺乏标准化实施等因素可能会使 ai 部署具有挑战性。在这篇文章中，我们将探讨如何应对这些挑战，并在边缘生产中部署 ai 模型。
以下是部署推理模型的最常见挑战：
多模型框架：数据科学家和研究人员使用不同的人工智能和深度学习框架，如 tensorflow 、 pytorch 、 tensorrt 、 onnx 运行时或纯 python 来构建模型。这些框架中的每一个都需要一个执行后端来在生产环境中运行模型。同时管理多个框架后端可能成本高昂，并导致可伸缩性和维护问题。
不同的推理查询类型：边缘推理服务需要处理多个同时查询、不同类型的查询，如实时在线预测、流式数据和多个模型的复杂管道。每一项都需要特殊的推理处理。
不断发展的模型：在这个不断变化的世界中，人工智能模型不断地根据新数据和新算法进行重新训练和更新。生产中的型号必须在不重新启动设备的情况下持续更新。典型的 ai 应用程序使用许多不同的模型。它使问题的规模进一步扩大，以更新现场的模型。
nvidia triton 推理服务器是一款开源推理服务软件，通过解决这些复杂性简化了推理服务。 nvidia triton 提供了一个单一的标准化推理平台，可支持在多框架模型和不同部署环境（如数据中心、云、嵌入式设备、，以及虚拟化环境。它通过高级批处理和调度算法支持不同类型的推理查询，并支持实时模型更新。 nvidia triton 还旨在通过并发模型执行和动态批处理最大限度地提高硬件利用率，从而提高推理性能。
我们用 2021 年 8 月发布的 jetson jetpack 4.6 将 triton 推理服务器引入 jetson 。有了 nvidia triton ， ai 部署现在可以跨云、数据中心和边缘标准化。
主要特征
以下是 nvidia triton 的一些关键功能，它们可以帮助您简化 jetson 中的模型部署。
图 1 jetson jetson 上的 triton 推理服务器架构
嵌入式应用集成
客户机应用程序和 triton 推理服务器之间的通信支持直接 c-api 集成，但也支持 grpc 和 http / rest 。在 jetson 上，当客户端应用程序和推理服务都在同一设备上运行时，客户端应用程序可以直接调用 triton 推理服务器 api ，而通信开销为零。 nvidia triton 是一个带有 c api 的共享库，可使完整功能直接包含在应用程序中。这最适合基于 jetson 的嵌入式应用程序。
多框架支持
nvidia triton 在本机集成了流行的框架后端，如 tensorflow 1 。 x / 2 。 x 、 onnx 运行时 tensorrt ，甚至自定义后端。这允许开发人员直接在 jetson 上运行他们的模型，而无需经过转换过程。 nvidia triton 还支持添加自定义后端的灵活性。开发人员有自己的选择，基础设施团队使用单个推理引擎优化部署。
dla 支持
jetson 上的 triton 推理服务器可以在 gpu 和 dla 上运行模型。 dla 是 jetson xavier nx 和 jetson agx xavier 上提供的深度学习加速器。
并发模型执行
triton 推理服务器通过在 jetson 上同时运行多个模型，最大限度地提高性能并减少端到端延迟。这些模型可以是所有相同的模型，也可以是来自不同框架的不同模型。 gpu 内存大小是对可同时运行的型号数量的唯一限制。
动态配料
批处理是一种提高推理吞吐量的技术。批处理推理请求有两种方法：客户端批处理和服务器批处理。 nvidia triton 通过将单个推理请求组合在一起来实现服务器批处理，以提高推理吞吐量。它是动态的，因为它构建一个批处理，直到达到一个可配置的延迟阈值。当达到阈值时， nvidia triton 安排当前批执行。调度和批处理决策对请求推断的客户机是透明的，并且根据模型进行配置。通过动态批处理， nvidia triton 在满足严格延迟要求的同时最大限度地提高吞吐量。
动态批处理的一个例子是，应用程序同时运行检测和分类模型，其中分类模型的输入是从检测模型检测到的对象。在这种情况下，由于可以对任意数量的检测进行分类，因此动态批处理可以确保可以动态创建检测对象的批，并且可以将分类作为批处理请求运行，从而减少总体延迟并提高应用程序的性能。
模型组合
模型集成功能用于创建不同模型和预处理或后处理操作的管道，以处理各种工作负载。 nvidia triton 集成允许用户将多个模型和预处理或后处理操作缝合到一个具有连接输入和输出的管道中。 nvidia triton 只需从客户端应用程序向集成发出一个推断请求，即可轻松管理整个管道的执行。例如，尝试对车辆进行分类的应用程序可以使用 nvidia triton 模型集成来运行车辆检测模型，然后在检测到的车辆上运行车辆分类模型。
定制后端
除了流行的 ai 后端， nvidia triton 还支持执行定制的 c ++后端。这些工具对于创建特殊的逻辑非常有用，比如预处理和后处理，甚至是常规模型。
动态模型加载
nvidia triton 有一个模型控制 api ，可用于动态加载和卸载模型。这使设备能够在应用程序需要时使用这些型号。此外，当模型使用新数据重新训练时，它可以无缝地重新部署在 nvidia triton 上，而不会重新启动任何应用程序或中断服务，从而允许实时模型更新。
结论
triton 推理服务器作为 jetson 的共享库发布。 nvidia triton 每月发布一次，增加了新功能并支持最新的框架后端。有关更多信息，请参阅 triton 推理服务器对 jetson 和 jetpack 的支持。
nvidia triton 有助于在每个数据中心、云和嵌入式设备中实现标准化的可扩展生产 ai 。它支持多个框架，在 gpu 和 dla 等多个计算引擎上运行模型，处理不同类型的推理查询。通过与 nvidia jetpack 的集成， nvidia triton 可用于嵌入式应用。
关于作者
shankar chandrasekaran 是 nvidia 数据中心 gpu 团队的高级产品营销经理。他负责 gpu 软件基础架构营销，以帮助 it 和 devops 轻松采用 gpu 并将其无缝集成到其基础架构中。在 nvidia 之前，他曾在小型和大型科技公司担任工程、运营和营销职位。他拥有商业和工程学位。
suhas sheshadri 是 nvidia 的产品经理，专注于 jetson 软件。此前，他曾在 nvidia 与自主驾驶团队合作，为 nvidia 驱动平台优化系统软件。mahan salehi 是 nvidia 的深度学习软件产品经理，专注于 triton 推理服务器。在 nvidia 之前，他是一家人工智能初创公司的联合创始人兼首席执行官，此前也曾在医疗器械行业工作。他拥有多伦多大学的工程学学位。
智能驾驶汽车仿真测试案例分析
AP8665升压恒压驱动芯片输入2.6-5.5V输出3.0-25V
STM32单片机的工作原理和优缺点 STM32单片机的选型要点
Quanergy新型激光雷达传感器M1具有哪些优势？
新一轮制裁，摩尔线程、壁仞等IC公司上实体清单，英伟达AI芯片限制出售！
使用NVIDIA Triton推理服务器简化边缘AI模型部署
LED闪光灯电路原理详解
别再等骁龙835了，乐视Pro3、小米5s、锤子M1这三部骁龙821手机最值得入手
iPhone13或许会采用屏下指纹新技术
基于CAN总线解决方案实现丝网印花机的印花控制系统的设计
语音聊天的系统功能都体现在哪些方面
AnkerSoundcoreSpirit Pro蓝牙耳机体验 无论是影音还是游戏都能轻松应对
OMEGA系列法兰安装式反作用扭矩传感器的适用范围及参数解析
Mavenir智能设备连接扩展了T-Mobile的IMS功能
格兰仕特别打造一体式的智慧厨房 引领简单高效的品质生活
分析倍压电路的原理是如何把交流变成直流，并实现升压？
华为抑制互联网泡沫冲动，打击刷流量行为
可密集读取的超宽带电子标签是如何设计出来的
浅谈物联网在低压安全用电系统的应用和设计
共识前行，携手并进！唯样成为TAIYO YUDEN授权代理商！
然而，在边缘的应用程序和服务中部署 ai 模型对基础设施和运营团队来说可能是一项挑战。不同的框架、端到端延迟要求以及缺乏标准化实施等因素可能会使 ai 部署具有挑战性。在这篇文章中，我们将探讨如何应对这些挑战，并在边缘生产中部署 ai 模型。
以下是部署推理模型的最常见挑战：
多模型框架：数据科学家和研究人员使用不同的人工智能和深度学习框架，如 tensorflow 、 pytorch 、 tensorrt 、 onnx 运行时或纯 python 来构建模型。这些框架中的每一个都需要一个执行后端来在生产环境中运行模型。同时管理多个框架后端可能成本高昂，并导致可伸缩性和维护问题。
不同的推理查询类型：边缘推理服务需要处理多个同时查询、不同类型的查询，如实时在线预测、流式数据和多个模型的复杂管道。每一项都需要特殊的推理处理。
不断发展的模型：在这个不断变化的世界中，人工智能模型不断地根据新数据和新算法进行重新训练和更新。生产中的型号必须在不重新启动设备的情况下持续更新。典型的 ai 应用程序使用许多不同的模型。它使问题的规模进一步扩大，以更新现场的模型。
nvidia triton 推理服务器是一款开源推理服务软件，通过解决这些复杂性简化了推理服务。 nvidia triton 提供了一个单一的标准化推理平台，可支持在多框架模型和不同部署环境（如数据中心、云、嵌入式设备、，以及虚拟化环境。它通过高级批处理和调度算法支持不同类型的推理查询，并支持实时模型更新。 nvidia triton 还旨在通过并发模型执行和动态批处理最大限度地提高硬件利用率，从而提高推理性能。
我们用 2021 年 8 月发布的 jetson jetpack 4.6 将 triton 推理服务器引入 jetson 。有了 nvidia triton ， ai 部署现在可以跨云、数据中心和边缘标准化。
主要特征
以下是 nvidia triton 的一些关键功能，它们可以帮助您简化 jetson 中的模型部署。
图 1 jetson jetson 上的 triton 推理服务器架构
嵌入式应用集成
客户机应用程序和 triton 推理服务器之间的通信支持直接 c-api 集成，但也支持 grpc 和 http / rest 。在 jetson 上，当客户端应用程序和推理服务都在同一设备上运行时，客户端应用程序可以直接调用 triton 推理服务器 api ，而通信开销为零。 nvidia triton 是一个带有 c api 的共享库，可使完整功能直接包含在应用程序中。这最适合基于 jetson 的嵌入式应用程序。
多框架支持
nvidia triton 在本机集成了流行的框架后端，如 tensorflow 1 。 x / 2 。 x 、 onnx 运行时 tensorrt ，甚至自定义后端。这允许开发人员直接在 jetson 上运行他们的模型，而无需经过转换过程。 nvidia triton 还支持添加自定义后端的灵活性。开发人员有自己的选择，基础设施团队使用单个推理引擎优化部署。
dla 支持
jetson 上的 triton 推理服务器可以在 gpu 和 dla 上运行模型。 dla 是 jetson xavier nx 和 jetson agx xavier 上提供的深度学习加速器。
并发模型执行
triton 推理服务器通过在 jetson 上同时运行多个模型，最大限度地提高性能并减少端到端延迟。这些模型可以是所有相同的模型，也可以是来自不同框架的不同模型。 gpu 内存大小是对可同时运行的型号数量的唯一限制。
动态配料
批处理是一种提高推理吞吐量的技术。批处理推理请求有两种方法：客户端批处理和服务器批处理。 nvidia triton 通过将单个推理请求组合在一起来实现服务器批处理，以提高推理吞吐量。它是动态的，因为它构建一个批处理，直到达到一个可配置的延迟阈值。当达到阈值时， nvidia triton 安排当前批执行。调度和批处理决策对请求推断的客户机是透明的，并且根据模型进行配置。通过动态批处理， nvidia triton 在满足严格延迟要求的同时最大限度地提高吞吐量。
动态批处理的一个例子是，应用程序同时运行检测和分类模型，其中分类模型的输入是从检测模型检测到的对象。在这种情况下，由于可以对任意数量的检测进行分类，因此动态批处理可以确保可以动态创建检测对象的批，并且可以将分类作为批处理请求运行，从而减少总体延迟并提高应用程序的性能。
模型组合
模型集成功能用于创建不同模型和预处理或后处理操作的管道，以处理各种工作负载。 nvidia triton 集成允许用户将多个模型和预处理或后处理操作缝合到一个具有连接输入和输出的管道中。 nvidia triton 只需从客户端应用程序向集成发出一个推断请求，即可轻松管理整个管道的执行。例如，尝试对车辆进行分类的应用程序可以使用 nvidia triton 模型集成来运行车辆检测模型，然后在检测到的车辆上运行车辆分类模型。
定制后端
除了流行的 ai 后端， nvidia triton 还支持执行定制的 c ++后端。这些工具对于创建特殊的逻辑非常有用，比如预处理和后处理，甚至是常规模型。
动态模型加载
nvidia triton 有一个模型控制 api ，可用于动态加载和卸载模型。这使设备能够在应用程序需要时使用这些型号。此外，当模型使用新数据重新训练时，它可以无缝地重新部署在 nvidia triton 上，而不会重新启动任何应用程序或中断服务，从而允许实时模型更新。
结论
triton 推理服务器作为 jetson 的共享库发布。 nvidia triton 每月发布一次，增加了新功能并支持最新的框架后端。有关更多信息，请参阅 triton 推理服务器对 jetson 和 jetpack 的支持。
nvidia triton 有助于在每个数据中心、云和嵌入式设备中实现标准化的可扩展生产 ai 。它支持多个框架，在 gpu 和 dla 等多个计算引擎上运行模型，处理不同类型的推理查询。通过与 nvidia jetpack 的集成， nvidia triton 可用于嵌入式应用。
关于作者
shankar chandrasekaran 是 nvidia 数据中心 gpu 团队的高级产品营销经理。他负责 gpu 软件基础架构营销，以帮助 it 和 devops 轻松采用 gpu 并将其无缝集成到其基础架构中。在 nvidia 之前，他曾在小型和大型科技公司担任工程、运营和营销职位。他拥有商业和工程学位。
suhas sheshadri 是 nvidia 的产品经理，专注于 jetson 软件。此前，他曾在 nvidia 与自主驾驶团队合作，为 nvidia 驱动平台优化系统软件。mahan salehi 是 nvidia 的深度学习软件产品经理，专注于 triton 推理服务器。在 nvidia 之前，他是一家人工智能初创公司的联合创始人兼首席执行官，此前也曾在医疗器械行业工作。他拥有多伦多大学的工程学学位。
智能驾驶汽车仿真测试案例分析
AP8665升压恒压驱动芯片输入2.6-5.5V输出3.0-25V
STM32单片机的工作原理和优缺点 STM32单片机的选型要点
Quanergy新型激光雷达传感器M1具有哪些优势？
新一轮制裁，摩尔线程、壁仞等IC公司上实体清单，英伟达AI芯片限制出售！
使用NVIDIA Triton推理服务器简化边缘AI模型部署
LED闪光灯电路原理详解
别再等骁龙835了，乐视Pro3、小米5s、锤子M1这三部骁龙821手机最值得入手
iPhone13或许会采用屏下指纹新技术
基于CAN总线解决方案实现丝网印花机的印花控制系统的设计
语音聊天的系统功能都体现在哪些方面
AnkerSoundcoreSpirit Pro蓝牙耳机体验 无论是影音还是游戏都能轻松应对
OMEGA系列法兰安装式反作用扭矩传感器的适用范围及参数解析
Mavenir智能设备连接扩展了T-Mobile的IMS功能
格兰仕特别打造一体式的智慧厨房 引领简单高效的品质生活
分析倍压电路的原理是如何把交流变成直流，并实现升压？
华为抑制互联网泡沫冲动，打击刷流量行为
可密集读取的超宽带电子标签是如何设计出来的
浅谈物联网在低压安全用电系统的应用和设计
共识前行，携手并进！唯样成为TAIYO YUDEN授权代理商！