nvidia创始人兼首席执行官黄仁勋在nvidia最新的gpu技术会议(gtc china 2019)上宣布了该消息。在建立统一的机器人开发平台以实现ai、仿真和操控功能方面,isaac sdk迈出了重要的里程碑。
isaac sdk包括isaac robotics engine(提供应用程序框架),isaac gem(预先构建的深度神经网络模型、算法、库、驱动程序和api),用于室内物流的参考应用程序以及isaac sim的第一个版本(提供导航功能)。
全新isaac sdk可以大大加快研究人员、开发人员、初创企业和制造商开发和测试机器人的速度。它使机器人能够通过仿真获得由人工智能技术驱动的感知和训练功能,从而可以在各种环境和情况下对机器人进行测试和验证。
这样一来,可以节省成本。
从基于ai的感知开始
每台自主机器都始于感知。
为了加快ai机器人的开发速度,全新isaac sdk包括各种基于摄像头的感知深度神经网络。其中:
·对象检测——识别用于导航、交互或操控的对象
·自由空间分割——检测和分割外部世界,例如确定人行道在哪里,以及机器人可以在哪里行驶
·3d姿态估计——了解目标的位置和方向,从而实现诸如机械臂拾取物体的任务
·2d人体姿态估计——将姿态估计应用于人,这对于与人互动的机器人(例如配送机器人)和协作机器人(专门设计用于与人合作)非常重要
该sdk的对象检测也已通过resnet深度神经网络进行了更新,可以使用nvidia的迁移学习工具包对其进行训练。这使得添加新对象进行检测和训练新模型变得更加容易,这些新模型可以以较高的准确度启动并运行。
推出isaac sim
新版本引入了一项重要功能——使用isaac sim训练机器人,并将所生成的软件部署到在现实世界中运行的真实机器人中。这有望大大加快机器人的开发速度,从而实现综合数据的训练。
通过仿真,开发人员可以在极端情况下(即困难或异常情况下)对机器人进行测试,以进一步加强对它的训练。将这些结果输入训练管道,使神经网络可以基于真实和模拟数据来提高准确性。
多机器人sim来了
全新sdk也提供了多机器人仿真。这使开发人员可以将多个机器人放入仿真环境中进行测试,以便它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的isaac导航软件堆栈。
因此,寻求在大型物流管理中运行多个机器人的制造商,可以先测试机器人交互作用并调试问题,再将其部署到现实世界。
isaac与deepstream集成
全新sdk还集成了对nvidia deepstream 软件的支持,该软件广泛用于处理分析功能。开发人员可以在支持机器人应用程序的边缘ai 部署deepstream和nvidia gpu,以实现对视频流的处理。
开发人员现在可以构建各种各样的机器人,这些机器人需要对摄像头视频源进行分析,既可以用于机载应用,也可以用于远程定位。
使用isaac sdk进行编程
最后,对于已经开发了自己代码的机器人开发人员,全新sdk也能集成他们的工作,并添加了基于c编程语言的新api。
这使开发人员可以将自己的软件堆栈连接到isaac sdk,并最大程度地减少编程语言转换——为用户提供通过c api访问路由的isaac功能。
c-api访问权限同时支持开发人员在其他编程语言中使用isaac sdk。
什么是趋肤效应?磁滞回线是什么意思?
北京首次允许载人载物测试 助推商用车自动驾驶技术的提升
数字延时脉冲发生器DG645的技术参数
这样的配置简直没谁了?三星s8:大屏占比+骁龙835+2K屏+虹膜识别
华为悲壮的487天是中国芯片产业处境尴尬的现实折射
NVIDIA助力机器人技术的提升 为构建自主机器统一平台树立了里程碑
5G RedCap规模商用在即!轻量化5G打开物联网“中间市场”
亚马逊开始转向另一个开源虚拟化技术KVM
如何利用连续分组连接技术降低智能手机的芯片功耗
Vishay发布的新款光电二极管---VEMD8080,其可见光敏感度为可穿戴传感器设备带来了超薄体验
失效分析和可靠性测试:为什么SAM现在是必不可少的设备
2020年全球智能音箱销量突破1.5亿台
长城汽车:坦克将独立成越野品牌
自制摩托车防盗报警喇叭
物联网怎样逐步走向市场
我国5G基站80%应用在哪里
Type-C接口究竟有什么魅力,能够成为市场的主流
iphone14出来后13系列会降价多少
三格电子:工业以太网(Profinet、EtherNet/IP、ModbusTCP等)转无线设备
商汤科技成为全球第三大机器视觉领域应用市场