3D动画中快速的动作捕捉,实现快速迭代和随时可用的动画文件的概述

一个深入人心的动画角色,首先得生动。但是,让虚拟角色变得栩栩如生却并非易事。
动作捕捉技术通过录制并以数字化方式复制人类运动来制作3d动画。在《指环王》系列电影中,安迪·瑟金斯(andy serkis)便通过动作捕捉技术扮演了哈比人咕噜(gollum)一角。
但是,传统的动作捕捉技术需要依靠大量昂贵而笨重的硬件才可完成。同时,进行动作捕捉时,还要求能娴熟操作多机位摄像设置的专业人员、特定的演播环境,以及演员所穿戴的特殊传感器装备。
“传统动作捕捉技术所需的费用、技能要求及时间成本让人望而却步。”radical联合创始人兼首席执行官gavan gravesen说道。radical公司位于纽约,是nvidia初创加速计划的一员。如其公司名“radical”所代表的含义,该公司定位于突破传统技术束缚。“我们致力于以低成本实现技术的普遍可用性、无缝集成,以及运行速度,” gavan gravesen表示。
游戏开发者、3d 图形艺术家、制片人和 ar/vr 爱好者只需一部 2d 相机,甚至手机相机,即可使用radical基于nvidia gpu 的ai解决方案进行3d动作捕捉,而无需其他硬件、演播室环境或精密的传感器装备,并显著降低了制作成本和工作量。
快速的动作捕捉
世界各地的用户可以通过智能手机或网络直接将视频上传至radical云。radical利用ai和动作科学处理视频,检测动作形态,并在三维空间中重现人类动作,甚至可以重建摄像机未拍摄到的内容。
radical解决方案的算法可根据不同身体比例和人体动作自动调整,还可创建模型,在三维空间中复制动作。虽然模型中的流畅动作使得制作过程看起来很简单,但事实并非如此。
“我们需要将深度学习、机器人、计算机视觉和生物力学技术整合在一起,而这需要借助功能强大的 ai 开发环境,”radical联合创始人兼首席技术官anna-chiara bellini表示。nvidia gpu计算为这一目标的实现发挥了重要作用。
实现快速迭代
bellini表示,如何处理海量数据是radical开发ai过程中面临的首要挑战。为了开发算法,单张静止图像就需要分析多达 6gb 的数据。而每一秒的动作包含120帧,需要创建720gb数据。
bellini及其团队选择使用tensorflow,以将gpu编程集成到其研究过程中,如此他们便可以获得适用于整个管线的“单一执行模型(single execution model)”。“通过使用在cuda中编写的专门的内核增强tensorflow,在进行模拟仿真时,短短几个小时内编写的简单内核能够节省数天时间”,她说。
为了支持动作模型,radical在多卡互联系统中采用交错方式进行多帧处理。“能够并联多个tesla v100 gpu的最新nvidia nvlink使之成为可能。”bellini说。
借助基于云的gpu并联设备,bellini及其团队的开发周期(包括构思、部署及制作)缩短了10倍。
她说:“借助nvidia gpu,我们可以加快工作速度、探索更多选择,且更高效地利用机器学习工程师的时间。”
随时可用的动画文件
视频处理完毕后,radical能够通过其网站和motion应用程序,并排呈现实时3d预览与真实的视频片段。
用户也可以通过可用于3d动画、增强现实、vr、游戏引擎及其他3d图形程序和内容频道的格式下载其作品的动画文件。
最近,radical面向创意行业的早期采用者开放了一款公测版程序。该公司计划在几周内全面投放市场。
nvidia的初创加速计划已有近2800家初创公司,radical也是其中一员。初创加速计划为初创公司提供技术、专业知识和营销支持,帮助他们加速发展。

基于LabVIEW虚拟仪器实现数据采集卡驱动系统的设计
我国轨道交通发展迅速,轨道交通设备呈现多样化
发展虚火带来繁荣错觉 国产工业机器人桎梏何在?
不成熟的半成品:索尼Xperia Touch触控投影仪初体验
物联网场景中的通信协议介绍
3D动画中快速的动作捕捉,实现快速迭代和随时可用的动画文件的概述
传统的buck电路是电感电流控制吗?
华为荣耀magic的黑科技八曲面屏 居然使用的是三星的次等屏?
近十年全球半导体金额超1亿美元的并购案
应用于幼儿园管理的手机远程监控系统应用方案
UVM设计模式之观察者模式解读
医院触摸式紧急呼叫求助板电路图
喜讯!庆科信息荣获“智光杯”全屋智能及商用系统优秀新供应链奖
电动汽车充电服务市场痛点如何解决
借市场之力 推动半导体创新
微电机生产厂家商品价格
Molex ML-XTTM密封连接系统为商用车市场 提供市场领先的密封件技术
壁挂式温湿度变送器的技术参数
全国各省市智能化建设中 安防行业均是深度参与者与核心受益者
VR过早进入瓶颈期?市场的可持续性面临挑战