NVIDIA TensorRT插件的全自动生成工具
nvidia tensorrt 是性能最优、应用最广的 gpu 推理框架，但用户常常因为不支持的算子而面临手写插件的痛点。为此，腾讯 teg 与 nvidia 联合开发了一款能自动生成插件的工具：tensorrt plugin autogen tool，简称 tpat。它能支持几乎所有的 onnx 算子，在节省人力成本的同时，性能对比手写插件也毫不逊色。
腾讯 teg（技术工程团队）为腾讯各个团队提供技术与工程服务，日常任务是为各种产品提供工程设计与实现，以满足其他团队的业务需要。
随着 ai 应用的普及，腾讯 teg 在深度学习模型的推理上也开始了技术积累。腾讯 teg 选择了tensorrt作为 nvidia gpu 上推理应用的基础软件，开发了大量基于 tensorrt 的 ai 模型，并与 nvidia 展开了深入合作。
tensorrt 是一个由 nvidia 开发的用于推理的高性能 sdk，包含深度学习推理优化器和运行时环境，可以为深度学习推理应用提供低延迟和高吞吐量，这也是 tensorrt 相比其他框架最大的优势。
不过，tensorrt 也存在一定局限性，当现有模型的算子不能被 tensorrt 直接支持时，工程师不得不手写插件，比较耗时耗力。
腾讯 teg 表示，手写插件往往是 tensorrt 模型开发中最耗时的一部分，其难点在于：
手写插件需要熟悉 tensorrt 插件的编程接口，需要学习 gpu 和 cuda 相关知识。
新入门的工程师通常需要 1~2 周时间来编写一个算子实现，模型中如果包含多个不支持算子，就需要更多时间来逐个编写和调试。
如果有一种自动生成插件的工具，将极大地提高 tensorrt 模型开发的效率，于是腾讯 teg 与 nvidia 开展了这方面的合作，历时数月，共同开发了tpat（tensorrt plugin autogen tool）。
tpat 本质上是对 tensorrt 的功能扩展。它要解决的关键问题在于如下方面：
为了生成通用的插件，需要开发出 tensorrt 插件的代码模板。与此同时，需要提供部分插件的手工参考实现，用于比对计算结果与性能。这一部分由 nvidia 负责。
对于给定的具体算子，其 gpu 上的 cuda kernel 需要一种自动生成机制。经腾讯 teg 与 nvidia 协商，选择 onnx 作为候选算子集合，在编写中间代码之后由 tvm 生成 cuda kernel。这一部分由腾讯 teg 负责。
在完成上述开发之后，腾讯 teg 与 nvidia 进行联调，并后续同步进行版本迭代。
历经腾讯 teg 与 nvidia 工程师的共同努力，tpat 已正式发布 1.0 版本。它基于 tvm 和 onnx，实现了 tensorrt 插件的全自动生成，使得 tensorrt 的部署和上线能基本流程化，不再需要人工参与。
另外，tpat 全自动生成一个算子插件耗时仅需要 30-60 分钟的时间（该时间用于搜索算子的高性能 cuda kernel），tensorrt 会因此成为一个真正端到端的推理框架。
tpat 亮点:
覆盖度：几乎支持 onnx 所有的算子
全自动：端到端全自动生成用户指定的 tensorrt plugin
高性能：大部分算子的性能与手写插件相比并不逊色
值得一提的是，最新发布的 tpat 也支持了动态 batch，从而成为真正具有业界实用性的工具。
tpat 已经用在了腾讯游戏中心的多个游戏 ai 模型上，体现了优秀的好用性与性能。此外，很多其他腾讯团队也对 tpat 感兴趣，在评估与尝试部署 tpat 生成的 tensorrt 模型。
“对内部业务模型里的部分算子进行了测试，tpat 的性能几乎全面达到甚至超越 cuda 工程师手写的插件，并且端到端的设计能够大幅减少人力投入。”来自腾讯 teg 的工程师邱骞表示。
次级同步整流及输出均流的集成控制器
人脸识别日趋成熟 国际IT巨头争夺正酣
2018电动汽车市场的24个看点
“百度燎原计划2018”，开放新升级，小白也能用AI
只要有了TA明星博主般的chic街拍轻松get
NVIDIA TensorRT插件的全自动生成工具
基ARM微控制器实现智能脱扣器数据采集系统设计
泰克的测试解决方案协助开发新Xeon处理器集成的PCIe 3.0功能
人工智能发展进入到了第几次高峰期
以太网PHY的功能和选择
瑕疵检测系统可精准高效率地检测产品表面质量
自制PCB图解教程
海信手机官微官宣海信金刚6 主打10010mAh大电池
重磅！2016虚拟现实的10件大事与6大趋势
华为高端旗舰诚意让步，64G版本跌至了小米手机的价格
零磁通电流互感器的工作原理
专为RWD漂移设计的15KG矮身舵机
价格绞杀战！30家企业砸3000亿造新能源车
小米自主松果芯片要来了：八核A53架构，小米5C你还在等什么
iPhone15系列9月13日发布 苹果发布会直播地址
腾讯 teg（技术工程团队）为腾讯各个团队提供技术与工程服务，日常任务是为各种产品提供工程设计与实现，以满足其他团队的业务需要。
随着 ai 应用的普及，腾讯 teg 在深度学习模型的推理上也开始了技术积累。腾讯 teg 选择了tensorrt作为 nvidia gpu 上推理应用的基础软件，开发了大量基于 tensorrt 的 ai 模型，并与 nvidia 展开了深入合作。
tensorrt 是一个由 nvidia 开发的用于推理的高性能 sdk，包含深度学习推理优化器和运行时环境，可以为深度学习推理应用提供低延迟和高吞吐量，这也是 tensorrt 相比其他框架最大的优势。
不过，tensorrt 也存在一定局限性，当现有模型的算子不能被 tensorrt 直接支持时，工程师不得不手写插件，比较耗时耗力。
腾讯 teg 表示，手写插件往往是 tensorrt 模型开发中最耗时的一部分，其难点在于：
手写插件需要熟悉 tensorrt 插件的编程接口，需要学习 gpu 和 cuda 相关知识。
新入门的工程师通常需要 1~2 周时间来编写一个算子实现，模型中如果包含多个不支持算子，就需要更多时间来逐个编写和调试。
如果有一种自动生成插件的工具，将极大地提高 tensorrt 模型开发的效率，于是腾讯 teg 与 nvidia 开展了这方面的合作，历时数月，共同开发了tpat（tensorrt plugin autogen tool）。
tpat 本质上是对 tensorrt 的功能扩展。它要解决的关键问题在于如下方面：
为了生成通用的插件，需要开发出 tensorrt 插件的代码模板。与此同时，需要提供部分插件的手工参考实现，用于比对计算结果与性能。这一部分由 nvidia 负责。
对于给定的具体算子，其 gpu 上的 cuda kernel 需要一种自动生成机制。经腾讯 teg 与 nvidia 协商，选择 onnx 作为候选算子集合，在编写中间代码之后由 tvm 生成 cuda kernel。这一部分由腾讯 teg 负责。
在完成上述开发之后，腾讯 teg 与 nvidia 进行联调，并后续同步进行版本迭代。
历经腾讯 teg 与 nvidia 工程师的共同努力，tpat 已正式发布 1.0 版本。它基于 tvm 和 onnx，实现了 tensorrt 插件的全自动生成，使得 tensorrt 的部署和上线能基本流程化，不再需要人工参与。
另外，tpat 全自动生成一个算子插件耗时仅需要 30-60 分钟的时间（该时间用于搜索算子的高性能 cuda kernel），tensorrt 会因此成为一个真正端到端的推理框架。
tpat 亮点:
覆盖度：几乎支持 onnx 所有的算子
全自动：端到端全自动生成用户指定的 tensorrt plugin
高性能：大部分算子的性能与手写插件相比并不逊色
值得一提的是，最新发布的 tpat 也支持了动态 batch，从而成为真正具有业界实用性的工具。
tpat 已经用在了腾讯游戏中心的多个游戏 ai 模型上，体现了优秀的好用性与性能。此外，很多其他腾讯团队也对 tpat 感兴趣，在评估与尝试部署 tpat 生成的 tensorrt 模型。
“对内部业务模型里的部分算子进行了测试，tpat 的性能几乎全面达到甚至超越 cuda 工程师手写的插件，并且端到端的设计能够大幅减少人力投入。”来自腾讯 teg 的工程师邱骞表示。
次级同步整流及输出均流的集成控制器
人脸识别日趋成熟 国际IT巨头争夺正酣
2018电动汽车市场的24个看点
“百度燎原计划2018”，开放新升级，小白也能用AI
只要有了TA明星博主般的chic街拍轻松get
NVIDIA TensorRT插件的全自动生成工具
基ARM微控制器实现智能脱扣器数据采集系统设计
泰克的测试解决方案协助开发新Xeon处理器集成的PCIe 3.0功能
人工智能发展进入到了第几次高峰期
以太网PHY的功能和选择
瑕疵检测系统可精准高效率地检测产品表面质量
自制PCB图解教程
海信手机官微官宣海信金刚6 主打10010mAh大电池
重磅！2016虚拟现实的10件大事与6大趋势
华为高端旗舰诚意让步，64G版本跌至了小米手机的价格
零磁通电流互感器的工作原理
专为RWD漂移设计的15KG矮身舵机
价格绞杀战！30家企业砸3000亿造新能源车
小米自主松果芯片要来了：八核A53架构，小米5C你还在等什么
iPhone15系列9月13日发布 苹果发布会直播地址