英伟达TensorRT 7新平台推出,兼容ARM处理器

在日前举办的英伟达 gtc china 2019大会上,“教主”黄仁勋发布了一系列新品,其中tensorrt 的最新版本tensorrt 7令人瞩目,相比去年发布的tensorrt 5,tensorrt 7 可支持各种类型的 rnn、transformer、cnn,能够融合水平与垂直方向的运算,支持 1000 多种不同的计算变换和优化。黄仁勋举例,有了 tensorrt 7 的支持,在 gpu 上编译会话模型只需要0.3秒。
tensorrt 7的典型应用,是支持交互式会话ai,为实现更加智能的ai人机交互打开了新大门。在大会期间,英伟达加速计算产品管理总监paresh kharya等人接受采访,对tensorrt 7新平台、兼容arm等热门话题进行了解读。
支撑会话式ai全流程
paresh kharya介绍,ai技术正在取得长足进展,最新的应用包括会话式ai和推荐系统。其中,会话式ai是一个非常复杂的任务,需要ai理解语音、文本、语言,整个过程分为三个部分:识别你所说的,将你所说的话转化为文字,理解这些文字并转化成语言再说出来。随着英伟达不断发布新版本,tensorrt 7可以完成三个流程计算,从语音识别到语义理解再到语音输出。
“要想把会话式ai做得有用,需要符合两个条件,要在300毫秒内将整个三部分完成,而且要完成的非常智能。在这个过程当中,有非常多的复杂模型需要计算,tensor rt也在不断完善。” paresh kharya表示。
“推荐系统也是至关重要的一环,甚至已成为了互联网最重要的引擎。” paresh kharya强调,用户面临的选择越来越多,网络的信息量呈现爆炸式增长,包括商品、视频,以及各类选择的参数的数量都在爆炸式增长。“商品达到数十亿级别,网络视频百万量级增长,新闻每天都在产生海量数据。阿里巴巴、百度,都使用了英伟达的平台支持他们的推荐系统。”
这些信息在实时、动态的变化过程中,只有不断对模型进行训练,才可以有效地推荐。训练模型需要大量算力,英伟达提供了不断更新的各类工具和软件,比如最新的软件tensor rt 7,支持各类模型在各种情景下的部署,支持上百万的用户在每秒内做数十亿次的搜索。
例如,阿里的边缘系统如果在英伟达的gpu上跑,每秒可以做780次查询;但是如果用cpu,每秒只能做3次查询。
与arm合作,给客户更多选择
本次大会上,英伟达还宣布arm处理器可以使用其gpu加速技术、nvidia magnum io套件,以及在microsoft azure上使用的新型云加速gpu超级计算机等。换句话说,英伟达将全方位扩展高性能计算领域。
paresh kharya指出,arm是被业界广泛使用的架构,服务全球1500亿台设备。其成功的一个重要原因是开放平台,各家公司都能够在arm架构上进行创新,arm也能够提供互联、内存、cpu内核、计算能力等各种功能。英伟达将通过cuda平台和arm架构进行兼容,在高性能计算领域,给客户更多选择。
“加速计算和过去以cpu为基础的计算很不一样,性能提升是20、30甚至是100倍的。原因不仅是在架构上进行了设计,更重要的是通过软件优化和支撑。比如我们有各种各样的平台,像应用在医疗领域的clara平台,应用在自动驾驶领域的drive以及isaac,做到了硬件和软件的结合。” paresh kharya表示。
当前,对于gpu,业界既用于图像处理,也有一些特别的客户会剥离图像处理能力,专注于加速技术应用。paresh kharya认为,英伟达丰富的产品线,能够满足客户的差异化需求,例如应用于数据中心的gpu就没有图像处理部分,通过tensor core做ai加速计算。一些新品如rtx6000、rtx8000,则图像处理和ai加速功能兼具。“我们的优势是统一的架构应用于各种工作负载当中实现加速计算,这意味着在各个行业中、各种各样的商业机会。”
业界人士云集gtc china 2019


医疗物联网的合规性注意事项
基于matlab的移位寄存器法m序列的产生
千万别只关注孩子视力忽略听力!正确使用耳机避免听力受损
基于MILSTD1553B数据总线的通讯功能的实现方案研究
荣耀V20搭载麒麟980性能跑分公布已突破30万
英伟达TensorRT 7新平台推出,兼容ARM处理器
中航锂电(CALB)按下产能扩张“快进键
可控硅的特性和检测以及可控硅引脚判别
低静态功耗PS7A20 LDO芯片设计
贸泽备货Bosch BMP388数字气压传感器,适用于无人机等应用
基于LIN总线汽车前灯运动控制系统的设计
区块链用于枪支管理还面临哪些挑战缺陷和阻力
三代锐龙绝配 华硕电竞主板力荐
光波炉原理
全球与中国钠硫电池市场现状及未来发展趋势
英国将投资3亿英镑发展AI超算
诺基亚液冷基站将破解运营商5G建网高功耗的难题
AI重新定义边缘计算的重要性
中国移动、中国联通和中国电信分别发布了4月运营数据
随着区块链技术的不断发展,更多典型应用即将涌现