GANcraft可解决图像到图像转换问题
nvidia 和康奈尔大学的科学家们引入了一种混合的无监督神经渲染管道，以有效地表示体素世界中的大型复杂场景。从本质上讲， 3d 艺术家只需要构建最小值，剩下的部分将由算法来构建照片级真实感世界。研究人员将这种混合神经渲染管道应用于 minecraft 区块世界，以生成更逼真的 minecraft 场景。
nvidia 和更广泛的研究团体（ pix2pix 、 pix2pixhd 、 munit 、 spade ）以前的工作已经解决了图像到图像转换（ im2im ）的问题——将图像从一个域转换到另一个域。乍一看，这些方法似乎为将一个世界转换为另一个世界的任务提供了一个简单的解决方案—一次翻译一幅图像。但是， im2im 方法不保持视点一致性，因为它们不了解 3d 几何体，并且每个 2d 帧都是独立生成的。从下面的图像中可以看出，这些方法的结果会产生抖动和突然的颜色和纹理变化。
输入 gancraft ，这是一种直接在 3d 输入世界上操作的新方法。
研究人员在 study 中解释说：“由于用户创建的块世界根本不存在地面真实照片级真实感渲染，我们必须通过间接监督来训练模型。”。
该方法的工作原理是在输入块世界中随机采样摄影机视图，然后想象该视图的真实照片版本是什么样子。这是在 spade 的帮助下完成的，这是 nvidia 先前在图像到图像转换方面的工作，也是流行的 gaugan 演示中的关键组件。 gancraft 通过使用样式调节网络克服了这些生成的“伪真实”的视图不一致性，该网络可以消除世界结构与渲染样式之间的歧义。这使 gancraft 能够生成与视图一致的输出视频，并且具有不同的风格。
虽然研究结果在 minecraft 中得到了验证，但该方法适用于其他 3d 块体世界，如体素。缩短构建高清世界所需的时间和专业知识的潜力增加了这项研究的价值。它可以帮助游戏开发者、 cgi 艺术家和动画产业缩短构建这些巨大而令人印象深刻的世界所需的时间。
gancraft 是在 imaginaire 库中实现的。该库针对生成模型和生成对抗网络的训练进行了优化，支持多 gpu 、多节点和自动混合精度训练。 nvidia 制作的 10 多种不同研究成果以及预训练模型已经发布。随着时间的推移，此库将继续使用更新的作品进行更新。
关于作者
nathan horrocks 是 nvidia research 的内容营销经理。他重点强调了 nvidia 实验室在世界各地进行的惊人研究。
芯讯通亮相2024CES展 展现IoT无限可能
磁滞测功机的工作原理及应用
谷歌无人驾驶专车？新专利让人细思极恐
水对触摸屏的影响以及设计中的防水策略
realme梅开二度：两款新机轮番登场
GANcraft可解决图像到图像转换问题
万物智联与烟火人间 HDC 2021华为开发者大会 一场跨越20年的双向奔赴
小米11发热严重解决了吗
专家已研发出专供心脏病研究的MEMS芯片
马化腾代表的七份建议
三星Galaxy S8将于3月29日发布 起售价格849美元
关于2.4G温湿度卡式标签的详细介绍
浅谈ASON技术在电力通信网发挥的作用
联通创投与腾讯创投为什么合营CDN公司？
5G来了,从核心网到边缘,离不开基于云的网络转型这个“神器”
喜讯！新加坡第一封测大厂将出售！
SLS 3D打印技术的后处理过程
诺基亚电视开售 配备了2.25GB+16GB的存储大小
小米宣布其多个智能电视将涨价
阿里、速途网络等206家在京互联网企业发布倡议书，共筑网络安全防线！
nvidia 和更广泛的研究团体（ pix2pix 、 pix2pixhd 、 munit 、 spade ）以前的工作已经解决了图像到图像转换（ im2im ）的问题——将图像从一个域转换到另一个域。乍一看，这些方法似乎为将一个世界转换为另一个世界的任务提供了一个简单的解决方案—一次翻译一幅图像。但是， im2im 方法不保持视点一致性，因为它们不了解 3d 几何体，并且每个 2d 帧都是独立生成的。从下面的图像中可以看出，这些方法的结果会产生抖动和突然的颜色和纹理变化。
输入 gancraft ，这是一种直接在 3d 输入世界上操作的新方法。
研究人员在 study 中解释说：“由于用户创建的块世界根本不存在地面真实照片级真实感渲染，我们必须通过间接监督来训练模型。”。
该方法的工作原理是在输入块世界中随机采样摄影机视图，然后想象该视图的真实照片版本是什么样子。这是在 spade 的帮助下完成的，这是 nvidia 先前在图像到图像转换方面的工作，也是流行的 gaugan 演示中的关键组件。 gancraft 通过使用样式调节网络克服了这些生成的“伪真实”的视图不一致性，该网络可以消除世界结构与渲染样式之间的歧义。这使 gancraft 能够生成与视图一致的输出视频，并且具有不同的风格。
虽然研究结果在 minecraft 中得到了验证，但该方法适用于其他 3d 块体世界，如体素。缩短构建高清世界所需的时间和专业知识的潜力增加了这项研究的价值。它可以帮助游戏开发者、 cgi 艺术家和动画产业缩短构建这些巨大而令人印象深刻的世界所需的时间。
gancraft 是在 imaginaire 库中实现的。该库针对生成模型和生成对抗网络的训练进行了优化，支持多 gpu 、多节点和自动混合精度训练。 nvidia 制作的 10 多种不同研究成果以及预训练模型已经发布。随着时间的推移，此库将继续使用更新的作品进行更新。
关于作者
nathan horrocks 是 nvidia research 的内容营销经理。他重点强调了 nvidia 实验室在世界各地进行的惊人研究。
芯讯通亮相2024CES展 展现IoT无限可能
磁滞测功机的工作原理及应用
谷歌无人驾驶专车？新专利让人细思极恐
水对触摸屏的影响以及设计中的防水策略
realme梅开二度：两款新机轮番登场
GANcraft可解决图像到图像转换问题
万物智联与烟火人间 HDC 2021华为开发者大会 一场跨越20年的双向奔赴
小米11发热严重解决了吗
专家已研发出专供心脏病研究的MEMS芯片
马化腾代表的七份建议
三星Galaxy S8将于3月29日发布 起售价格849美元
关于2.4G温湿度卡式标签的详细介绍
浅谈ASON技术在电力通信网发挥的作用
联通创投与腾讯创投为什么合营CDN公司？
5G来了,从核心网到边缘,离不开基于云的网络转型这个“神器”
喜讯！新加坡第一封测大厂将出售！
SLS 3D打印技术的后处理过程
诺基亚电视开售 配备了2.25GB+16GB的存储大小
小米宣布其多个智能电视将涨价
阿里、速途网络等206家在京互联网企业发布倡议书，共筑网络安全防线！