用于工业AI的Jetson AGX Xavier模块
工业物联网架构师花了数年时间才得出结论，边缘需要数据中心级的性能，以实现高效分析、提高安全性和降低网络成本。在人工智能和机器学习领域，传感器设备内部或附近对高端处理能力的需求从一开始就很明显。
考虑到即使是简单的自主机器（我知道这是矛盾的说法）也需要大量的计算能力来运行神经网络来执行障碍物检测、识别和避免等功能。例如，京东和菜鸟等公司生产的自动送货车需要大约每秒 30 兆次运算 （tops） 的处理性能，而雅马哈正在开发的自动驾驶检查无人机需要大约 20 兆次运算 （tops） 的处理性能。
当然，这对嵌入式和工业工程师提出了一个经典的设计挑战：平衡每瓦性能。性能太低，应用程序失败。功耗太大，自主机器必须连接到持续的电源。
随着nvidia 的 jetson agx xavier 模块的发布，这种情况正在改变。
服务器级性能，嵌入式功耗
jetson agx xavier 核心的 xavier soc 包含大量异构处理性能，适用于人工智能驱动的机器人应用程序，包括：
512 核 volta gpu，带有 64 个 tensorcore
八核、64 位基于 arm 的 carmel cpu
双 nvdla（nvidia 深度学习加速器）引擎
双 7 路 vliw 视觉加速器引擎
这代表 jetson agx 模块的性能高达 32 tops，尺寸为 87 mm x 100 mm。如上图所示，该芯片还包括一个 256 位 lpddr4x 接口，能够以 137 gbps 的速度将数据传输到模块上的 16 gb dram，用于与 ai 工作负载相关的频繁读写。
基本上，jetson agx xavier 以嵌入式模块形式提供服务器级性能。然而，同样重要的是，该模块的功耗仅为 10w，或与台式风扇差不多。用户可将操作模式配置为 10w、15w 或 30w，nvidia 报告称每瓦性能 （ppw） 的最佳点在 15w 左右。即使在那个水平（大约相当于蓝光播放器的功耗），jetson agx xavier 在推理性能和能源效率方面也大大超过了其前身 jetson tx2 和 intel core i7 + gtx 1070 显卡。
jetson agx xavier：引擎盖下
jetson agx xavier 的多项功能可实现这种类型的每瓦性能，从基础芯片架构开始。虽然 soc 上的每个内核都有自己的内存，但内存是离散 soc 模块之间的零内存复制。虽然 agx xavier 模块确实通过外部 16 gb lpddr4x dram 提供共享内存，但片上数据只是通过管道传递到必要的处理核心。
架构的异构性也提高了效率，因为工作负载可以在最适合任务的架构上执行。这方面的一个例子是片上加速引擎，它可以卸载 volta gpu，以便它可以专注于更复杂或用户定义的任务。例如，在以 8 位分辨率推断固定功能卷积神经网络 （cnn） 时，nvdla 引擎可提供高达 5 tops 的性能，以 16 位分辨率推断 2.5 tflops 时，功耗在 0.5w 和 1.5w 之间。
同时，carmel cpu 内核可以保留用于通用计算任务。
jetpack 简化了深度学习编程的复杂性
jetson agx 系列运行 linux，这在工业嵌入式系统中变得越来越普遍。许多希望利用 jetson agx xavier 性能的工业和嵌入式开发人员可能不太熟悉的是对 gpu 和/或深度学习加速器进行编程。幸运的是，nvidia jetpack 4.1.1 软件开发套件 （sdk）在cuda toolkit中提供了一揽子 api、嵌入式库以及与常用语言的集成，因此您无需了解如何编程 gpu对 gpu 进行编程。
最新jetpack版本中的一些软件工具包括：
linux for tegra r31.0.1 （k4.9）
cuda 工具包 10.0
cudnn 7.3
张量rt 5.0 ga
opencv 3.3.1
opengl 4.6 / gles 3.2
伏尔甘 1.1
多媒体 api r31.1
阿格斯 0.97 相机 api
tensorrt 5.0 包中提供的 api 也简化了对 dla 进行编程以执行神经网络工作负载。例如，_setdevicetype（） 和 setdefaultdevicetype（） 命令可用于在 gpu 或任一 dla 上执行特定的神经网络层或层，而像 _allowgpufallback（） 这样的命令可让工作负载在 dla 不支持的情况下恢复到 gpu 。
此外，deepstream 3.0 sdk 支持 jetson agx xavier，该 sdk 利用 tensorrt、cuda、多媒体和成像 api 来加速视频分析应用程序的开发。
当然，低级 cuda 编程是另一种选择。
VHDL语言应用实例指导
梁斌针对5G千兆网产业的发展提出三点建议
新版UL 1973认证标准：关于钠离子电芯详解
MAX9867 超低功耗立体声音频编解码器
福禄克发布全新Fluke 562和Fluke 563手持式红外测温仪
用于工业AI的Jetson AGX Xavier模块
Keil C51是如何支持双数据指针，有哪些特别的要求
理想汽车2020财报解读：首次实现季度盈利
监控摄像机产品的分辨率和清晰度的选择
人工智能在精神病学的应用，能比人类更好
AGV机器人未来发展空间广阔
区块链给税收征纳带来了哪些影响
iPhone 15将会有多少款?
浅谈通信设备内部的三种接地
霍尔电流传感器在电网无功功率自动补偿中的应用
研究人员研发新型电子植入物涂层，AI和人类融合或将实现
金源照明披露了招股书，公司拟在深交所创业板上市
华为mate10上市在即!搭载最强麒麟970处理器,华为mate9已经开始降价,买不买?
Microchip并购Atmel后整并计划开始 主力产品线原封不动
高压继电器的型号规格和使用满足要求有哪些
考虑到即使是简单的自主机器（我知道这是矛盾的说法）也需要大量的计算能力来运行神经网络来执行障碍物检测、识别和避免等功能。例如，京东和菜鸟等公司生产的自动送货车需要大约每秒 30 兆次运算 （tops） 的处理性能，而雅马哈正在开发的自动驾驶检查无人机需要大约 20 兆次运算 （tops） 的处理性能。
当然，这对嵌入式和工业工程师提出了一个经典的设计挑战：平衡每瓦性能。性能太低，应用程序失败。功耗太大，自主机器必须连接到持续的电源。
随着nvidia 的 jetson agx xavier 模块的发布，这种情况正在改变。
服务器级性能，嵌入式功耗
jetson agx xavier 核心的 xavier soc 包含大量异构处理性能，适用于人工智能驱动的机器人应用程序，包括：
512 核 volta gpu，带有 64 个 tensorcore
八核、64 位基于 arm 的 carmel cpu
双 nvdla（nvidia 深度学习加速器）引擎
双 7 路 vliw 视觉加速器引擎
这代表 jetson agx 模块的性能高达 32 tops，尺寸为 87 mm x 100 mm。如上图所示，该芯片还包括一个 256 位 lpddr4x 接口，能够以 137 gbps 的速度将数据传输到模块上的 16 gb dram，用于与 ai 工作负载相关的频繁读写。
基本上，jetson agx xavier 以嵌入式模块形式提供服务器级性能。然而，同样重要的是，该模块的功耗仅为 10w，或与台式风扇差不多。用户可将操作模式配置为 10w、15w 或 30w，nvidia 报告称每瓦性能 （ppw） 的最佳点在 15w 左右。即使在那个水平（大约相当于蓝光播放器的功耗），jetson agx xavier 在推理性能和能源效率方面也大大超过了其前身 jetson tx2 和 intel core i7 + gtx 1070 显卡。
jetson agx xavier：引擎盖下
jetson agx xavier 的多项功能可实现这种类型的每瓦性能，从基础芯片架构开始。虽然 soc 上的每个内核都有自己的内存，但内存是离散 soc 模块之间的零内存复制。虽然 agx xavier 模块确实通过外部 16 gb lpddr4x dram 提供共享内存，但片上数据只是通过管道传递到必要的处理核心。
架构的异构性也提高了效率，因为工作负载可以在最适合任务的架构上执行。这方面的一个例子是片上加速引擎，它可以卸载 volta gpu，以便它可以专注于更复杂或用户定义的任务。例如，在以 8 位分辨率推断固定功能卷积神经网络 （cnn） 时，nvdla 引擎可提供高达 5 tops 的性能，以 16 位分辨率推断 2.5 tflops 时，功耗在 0.5w 和 1.5w 之间。
同时，carmel cpu 内核可以保留用于通用计算任务。
jetpack 简化了深度学习编程的复杂性
jetson agx 系列运行 linux，这在工业嵌入式系统中变得越来越普遍。许多希望利用 jetson agx xavier 性能的工业和嵌入式开发人员可能不太熟悉的是对 gpu 和/或深度学习加速器进行编程。幸运的是，nvidia jetpack 4.1.1 软件开发套件 （sdk）在cuda toolkit中提供了一揽子 api、嵌入式库以及与常用语言的集成，因此您无需了解如何编程 gpu对 gpu 进行编程。
最新jetpack版本中的一些软件工具包括：
linux for tegra r31.0.1 （k4.9）
cuda 工具包 10.0
cudnn 7.3
张量rt 5.0 ga
opencv 3.3.1
opengl 4.6 / gles 3.2
伏尔甘 1.1
多媒体 api r31.1
阿格斯 0.97 相机 api
tensorrt 5.0 包中提供的 api 也简化了对 dla 进行编程以执行神经网络工作负载。例如，_setdevicetype（） 和 setdefaultdevicetype（） 命令可用于在 gpu 或任一 dla 上执行特定的神经网络层或层，而像 _allowgpufallback（） 这样的命令可让工作负载在 dla 不支持的情况下恢复到 gpu 。
此外，deepstream 3.0 sdk 支持 jetson agx xavier，该 sdk 利用 tensorrt、cuda、多媒体和成像 api 来加速视频分析应用程序的开发。
当然，低级 cuda 编程是另一种选择。
VHDL语言应用实例指导
梁斌针对5G千兆网产业的发展提出三点建议
新版UL 1973认证标准：关于钠离子电芯详解
MAX9867 超低功耗立体声音频编解码器
福禄克发布全新Fluke 562和Fluke 563手持式红外测温仪
用于工业AI的Jetson AGX Xavier模块
Keil C51是如何支持双数据指针，有哪些特别的要求
理想汽车2020财报解读：首次实现季度盈利
监控摄像机产品的分辨率和清晰度的选择
人工智能在精神病学的应用，能比人类更好
AGV机器人未来发展空间广阔
区块链给税收征纳带来了哪些影响
iPhone 15将会有多少款?
浅谈通信设备内部的三种接地
霍尔电流传感器在电网无功功率自动补偿中的应用
研究人员研发新型电子植入物涂层，AI和人类融合或将实现
金源照明披露了招股书，公司拟在深交所创业板上市
华为mate10上市在即!搭载最强麒麟970处理器,华为mate9已经开始降价,买不买?
Microchip并购Atmel后整并计划开始 主力产品线原封不动
高压继电器的型号规格和使用满足要求有哪些