NVIDIA Triton助力腾讯构建高性能推理服务
藉由 nvidiat4 gpu，通过 ronda 平台调用 nvidia triton 以及 tensorrt ，整体提升开发和推理效能，帮助腾讯 pcg 的多个服务整体效能提升 2 倍，吞吐量最大提升 6 倍，同时降低了 40% 的延时。
腾讯平台与内容事业群（简称 腾讯 pcg）负责公司互联网平台和内容文化生态融合发展，整合 qq、qq 空间等社交平台，和应用宝、浏览器等流量平台，以及新闻资讯、视频、体育、直播、动漫、影业等内容业务，推动 ip 跨平台、多形态发展，为更多用户创造海量的优质数字内容体验。
腾讯 pcg 机器学习平台部旨在构建和持续优化符合 pcg 技术中台战略的机器学习平台和系统，提升 pcg 机器学习技术应用效率和价值。建设业务领先的模型训练系统和算法框架；提供涵盖数据标注、模型训练、评测、上线的全流程平台服务，实现高效率迭代；在内容理解和处理领域，输出业界领先的元能力和智能策略库。机器学习平台部正服务于 pcg 所有业务产品。
而过往在项目执行时，团队所面挑战包含：
1. 业务繁多，场景复杂
业务开发语言包括c++/python
模型格式繁多，包括onnx、pytorch、tensorflow、tensorrt等
模型预处理涉及图片下载等网络io
多模型融合流程比教复杂，涉及循环调用
支持异构推理
2. 模型推理结果异常时，难以方便地调试定位问题
3. 需要与公司内现有协议/框架/平台进行融合
基于以上挑战，腾讯 pcg 选择了采用 nvidia triton 推理服务器，以解决新场景下模型推理引擎面临的挑战，在提升用户研效的同时，大幅降低了服务成本。
nvidia triton 是一款开源软件，对于所有推理模式都可以简化模型在任一框架中以及任何 gpu 或 cpu 上的运行方式，从而在生产环境中使用 ai。triton 支持多模型 ensemble，以及 tensorflow、pytorch、onnx 等多种深度学习模型框架，可以很好的支持多模型联合推理的场景，构建起视频、图片、语音、文本整个推理服务过程，大大降低多个模型服务的开发和维护成本。
基于 c++ 的基础架构、dynamic-batch、以及对 tensorrt 的支持，同时配合 t4 的 gpu，将整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%，既满足了业务的低延时需求，成本也降低了 20%-66%。
通过将 triton 编译为动态链接库，可以方便地链入公司内部框架，对接公司的平台治理体系。符合 c 语言规范的 api 也极大降低了用户的接入成本。
借助 python backend 和 custom backend，用户可以自由选择使用 c++/python 语言进行二次开发。
triton 的 tracing 能力可以方便地捕捉执行过程中的数据流状态。结合 metrics 和 perf analysis 等组件，可以快速定位开发调试，甚至是线上问题，对于开发和定位问题的效率有很大提升。
nvidia dali 是 gpu 加速的数据增强和图像加载库。dali backend 可以用于替换掉原来的图片解码、resize 等操作。fil backend 也可以替代 python xgboost 模型推理，进一步提升服务端推理性能。
借助 nvidia triton 推理框架，配合 dali/fil/python 等 backend，以及 tensorrt，整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%。帮助腾讯 pcg 各业务场景中，以更低的成本构建了高性能的推理服务，同时更低的延迟降低了整条系统链路的响应时间，优化了用户体验。
什么是等离子电视
Lime将在法国巴黎推共享电动滑板车
香港理大3D打印实验室为医生提供TAVI心脏手术模拟系统
研究发现win10的快捷方式或导致硬盘损坏
功率电感尺寸的变化对电感特性究竟有没有影响
NVIDIA Triton助力腾讯构建高性能推理服务
国芯思辰｜电容触摸芯片AIP5905用于智能蓝牙音箱，采用独立5通道触摸感应按键
差分放大电路实验
能部分/完全替代MCU功能的语音芯片WTV890-32N
人工智能已成为国家和政府间组织的重点发展领域
无人机上的倾角传感器你知道吗
开发单片机的集成开发环境工具（IDE）有哪些？
苹果MacBook Pro购买指南：哪个型号最适合你？
农田小型气象监测站的功能特点是什么
如何选择AC-DC电源管理芯片
iPhone8什么时候上市：A11处理器下个月量产备货一亿颗！iPhone8还怕抢不到？对iPhone8的期望与要求
智能驾驶技术最新进展
采用 STM32H750 探索套件的无线测温集中器的UI设计
LED正在其他新兴照明领域加速渗透
基于STC89S52的智能交通灯控制系统的设计与应用
腾讯平台与内容事业群（简称 腾讯 pcg）负责公司互联网平台和内容文化生态融合发展，整合 qq、qq 空间等社交平台，和应用宝、浏览器等流量平台，以及新闻资讯、视频、体育、直播、动漫、影业等内容业务，推动 ip 跨平台、多形态发展，为更多用户创造海量的优质数字内容体验。
腾讯 pcg 机器学习平台部旨在构建和持续优化符合 pcg 技术中台战略的机器学习平台和系统，提升 pcg 机器学习技术应用效率和价值。建设业务领先的模型训练系统和算法框架；提供涵盖数据标注、模型训练、评测、上线的全流程平台服务，实现高效率迭代；在内容理解和处理领域，输出业界领先的元能力和智能策略库。机器学习平台部正服务于 pcg 所有业务产品。
而过往在项目执行时，团队所面挑战包含：
1. 业务繁多，场景复杂
业务开发语言包括c++/python
模型格式繁多，包括onnx、pytorch、tensorflow、tensorrt等
模型预处理涉及图片下载等网络io
多模型融合流程比教复杂，涉及循环调用
支持异构推理
2. 模型推理结果异常时，难以方便地调试定位问题
3. 需要与公司内现有协议/框架/平台进行融合
基于以上挑战，腾讯 pcg 选择了采用 nvidia triton 推理服务器，以解决新场景下模型推理引擎面临的挑战，在提升用户研效的同时，大幅降低了服务成本。
nvidia triton 是一款开源软件，对于所有推理模式都可以简化模型在任一框架中以及任何 gpu 或 cpu 上的运行方式，从而在生产环境中使用 ai。triton 支持多模型 ensemble，以及 tensorflow、pytorch、onnx 等多种深度学习模型框架，可以很好的支持多模型联合推理的场景，构建起视频、图片、语音、文本整个推理服务过程，大大降低多个模型服务的开发和维护成本。
基于 c++ 的基础架构、dynamic-batch、以及对 tensorrt 的支持，同时配合 t4 的 gpu，将整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%，既满足了业务的低延时需求，成本也降低了 20%-66%。
通过将 triton 编译为动态链接库，可以方便地链入公司内部框架，对接公司的平台治理体系。符合 c 语言规范的 api 也极大降低了用户的接入成本。
借助 python backend 和 custom backend，用户可以自由选择使用 c++/python 语言进行二次开发。
triton 的 tracing 能力可以方便地捕捉执行过程中的数据流状态。结合 metrics 和 perf analysis 等组件，可以快速定位开发调试，甚至是线上问题，对于开发和定位问题的效率有很大提升。
nvidia dali 是 gpu 加速的数据增强和图像加载库。dali backend 可以用于替换掉原来的图片解码、resize 等操作。fil backend 也可以替代 python xgboost 模型推理，进一步提升服务端推理性能。
借助 nvidia triton 推理框架，配合 dali/fil/python 等 backend，以及 tensorrt，整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%。帮助腾讯 pcg 各业务场景中，以更低的成本构建了高性能的推理服务，同时更低的延迟降低了整条系统链路的响应时间，优化了用户体验。
什么是等离子电视
Lime将在法国巴黎推共享电动滑板车
香港理大3D打印实验室为医生提供TAVI心脏手术模拟系统
研究发现win10的快捷方式或导致硬盘损坏
功率电感尺寸的变化对电感特性究竟有没有影响
NVIDIA Triton助力腾讯构建高性能推理服务
国芯思辰｜电容触摸芯片AIP5905用于智能蓝牙音箱，采用独立5通道触摸感应按键
差分放大电路实验
能部分/完全替代MCU功能的语音芯片WTV890-32N
人工智能已成为国家和政府间组织的重点发展领域
无人机上的倾角传感器你知道吗
开发单片机的集成开发环境工具（IDE）有哪些？
苹果MacBook Pro购买指南：哪个型号最适合你？
农田小型气象监测站的功能特点是什么
如何选择AC-DC电源管理芯片
iPhone8什么时候上市：A11处理器下个月量产备货一亿颗！iPhone8还怕抢不到？对iPhone8的期望与要求
智能驾驶技术最新进展
采用 STM32H750 探索套件的无线测温集中器的UI设计
LED正在其他新兴照明领域加速渗透
基于STC89S52的智能交通灯控制系统的设计与应用