如果照片中的人忽然走出来和你拥抱,你会作何反应?华盛顿大学的研究人员重现了只存在《哈利波特》电影中的神奇场景,他们成功“唤醒”了照片,让画中人走出了相框,踏入了现实!
在系列电影《哈利波特》中,经常可以看到这样的场景,形形色色的人可以自由地从现实世界走进画中,也能从画中走出来。现在,华盛顿大学的计算机科学家们将这种魔法般的场景带到了现实中。
这个算法名为“照片唤醒”,可以从二维照片或艺术作品中提取出人物,让他们动起来,跑到画框之外。人们还可以使用增强现实工具观看生成的3d动画。研究人员将在6月19日举行的cvpr 2019上展示这个成果。本研究论文的预印本去年12月在arxiv上发布,引起了媒体的广泛关注。
“这是计算机视觉中一个非常困难的根本问题,”论文共同作者、威斯康星大学的paul g.allen和计算机科学与工程学院副教授ira kemelmacher-shlizerman说。 “其中的一大挑战是输入数据只来自一个摄像头,因此画中人物的一部分是看不见的。我们的研究将这个开放性问题上取得的技术进步与艺术创意的可视化结合起来。”
以前,研究人员认为只用一张照片制作一个人的动画是不可能实现的。
“以前的一些研究试图从多个视角创建一个3d角色,”艾伦学院教授,论文共同作者brian curless说。 “但仍然无法让人物活生生地动起来,无法让他们跑出一个场景之外,无法将ar带入其中。这次只用一张照片就能得到一些令人眼前一亮的结果,这真的是个惊喜。”
研究人员表示,照片唤醒技术的可以应用在多个领域。比如可以为游戏玩家以新的方式打造和自己非常相似的3d形象。艺术馆中的游客可以与馆中的绘画作品展开前所未有的互动——比如坐下来,与蒙娜丽莎喝杯茶,或者让孩子们的画作中的人走出来。论文中给出了几个例子,比如金州勇士队的库里就从照片中的篮球场上跑了出来。
球场上的斯蒂芬·库里跑向照片外
为了使这种“魔法”成为现实,研究人员首先识别照片中的人物,并制作身体轮廓的面具。从那里,然后将3d模型与受试者的身体部位进行匹配。接下来的一步由算法完成:为了使模型的轮廓和形变情况看起来和照片中的人更加相似,会将3d的人模型再投射回2d平面上。
“我们很难精确地操控3d模型,”共同作者艾伦学院的博士生chung-yi weng说道。 “也许能够实现粗略地控制,但是当为角色设置动画时,任何偏差和错误都会表现的很显眼。所以我们必须找到一种完美的处理方法,这在2d环境中更容易实现。”
画家马蒂斯的作品“伊卡洛斯”(1944)
照片唤醒服务会存储每个像素的3d信息:包括距离摄像头或艺术家的距离,以及人的关节的连接形式和细节。在对模板进行3d调节,成功匹配真人的姿势和形状之后,算法就会在纹理背景上粘贴。算法还通过来自图像和3d模板的信息生成人的背部模型。然后利用工具将前后两侧接合在一起,形成一个能够转身活动的3d模型。
在3d形象生成完毕之后,需要由算法来设置并填充背景,确保背景中不留下空白区域部分。算法会借用图像中其他部分的信息填充模型后方的空白背景部分。
“照片唤醒”服务还允许用户使用ar工具以三维方式观看动画
目前,对于人物面向前方的艺术作品,本服务生成3d模型时最为得心应手,可以为真实人物的艺术作品和照片生成动画形象,对于一些身体被手臂遮挡的照片也可以处理,但目前还不能很好地处理双腿交叉等复杂姿势,以及身体大部分被遮挡的照片。
论文第一作者翁仲义(chung-yi weng)表示,这是一种与照片实现3d互动的新方式,目前还远远算不上万能,但这可能是朝这个方向迈进的第一步。
UPS电池容量的简便计算方法
CAD制图中修剪与延伸的使用技巧
美国“芯荒”的困局该怎么破?
无线知识充电站:图解多址技术
射频基础总结
如果照片中的人忽然走出来和你拥抱,你会作何反应?
光纤配线架材料有哪些亮点
室内二氧化碳监测传感器推荐 CO2浓度测量传感器
抓进度促投产 江西生益项目建设加速冲刺
特斯拉、蔚来起火事件频发,工信部终于出手了
差速电机与无刷电机的区别是什么 差速电机和无刷电机哪个好
还在苦等小米6?这些同价位手机你喜欢吗
Win 8变脸为兼容触摸操作
智能硬件要素之PCB设计技术篇
二维码扫描模块嵌入扫码口,让自助设备更加便捷化、智能化
飞凌嵌入式荣获「ISO14001」和「ISO45001」双认证
在人工智能领域,中国实现了对日本的全面碾压
合作创新 携手共进 打造汽车智能化产业新生态
安森美推出高能效 USB 供电方案
工业级以太网交换机的应用组网方式及在城市轨道交通中的应用