即插即用！百度提出S3IM：用于NeRF提点的Magic Loss
本文介绍一下我组在iccv2023的论文“s3im: stochastic structural similarity and its unreasonable effectiveness for neural fields”。
s3im这个工作背后的想法实际上很简洁，从这个idea在脑海里形成到最后提交到iccv2023不过2个月时间。
s3im: stochastic structural similarity and its unreasonable effectiveness for neural fields
论文：arxiv.org/abs/2308.07032
代码：github.com/madaoer/s3im-neural-fields
用一句话来总结这个工作就是——我们提出了一种即插即用的loss s3im（随机结构相似性），可以近乎零成本地显著提升现存nerf类方法的性能指标。在几个场景里，我们甚至可以把tensorf和dvgo这些经典模型的test mse loss下降99%，同时把neus的几何重建指标（比如chamfer l1 distance）改善超过60%。
这里我们先看几组rgb和几何重建的可视化结果。
不仅如此，还可以提高对图像噪音的鲁棒性。如下图所示，s3im的渲染结果明显去掉了图像里灰蒙蒙的噪音。
毫无疑问，s3im极大地增强了现有的nerf类方法。
s3im的精髓在于以两个像素集合之间的相似性作为训练损失；像素集合一般包含数千个像素，这些像素一起贡献了互相关联的、全局的结构信息。
而nerf传统的mse是一种以两个独立像素之间的point-wise error作为训练损失；所以mse只包含了像素点孤立的信息、完全没有远距离或者全局的信息。
上面这两段话就是s3im的motivation。
为什么有结构信息更好？
这是一个很好的问题。
但我们先回答另一个相关的问题，为什么nerf的性能指标要有3个——psnr、ssim和lpips？
psnr就是像素之间point-wise的度量。很早大家就发现，psnr好不代表真的就好。
ssim（结构相似性）作为一种和人类视觉感知相关性更高的度量在2004年图像评估领域应运而生。
lpips则是一种通过预训练神经网络提取特征计算特征距离的指标（一般叫做感知指标）。
ssim和lpips其实都具备衡量两个像素集合之间相似性的能力，而且与人类视觉感知相关性都比psnr高。
熟悉nerf的读者都知道，传统nerf训练时是用mse loss。而psnr和mse其实就是一个简单的对数关系。
mse和psnr这类point-wise指标都是不够好的。一方面是和人类视觉感知相关性低，另一方面则是无法捕捉多个像素（像素集合）的整体信息。
那么ssim和lpips可不可以直接作为nerf的loss训练呢？
其实也可以，但仍然不够好。
因为ssim和lpips都是基于卷积核的相似性度量，它们只能捕捉相近像素的局部信息，不能捕捉更远的像素包含的结构信息。
我们的iccv工作就是把ssim（structural similarity）这个经典图像质量评估指标升级，变为s3im(stochastic structural similarity)。
这个升级方式也很简单。ssim只能在图像local patch用卷积核对吧。
那我们把nerf训练时每个minibatch的像素随机拼接成一个patch（叫做stochastic patch），然后再用ssim处理这些stochastic patch就行了。
有时候，真理就是这么朴实无华啊...
知名3d几何重建开源框架sdfstudio也已经把s3im方法合并进去了。
最后再放一个量化的实验结果。表里multiplex即是我们的s3im方法。
s3im这个工作是我们machine learning for fields系列工作的一环。我们在从机器学习的角度考虑场的问题。
无论是神经辐射场还是其他什么场，广义来说都是某个coordinate-wise的物理量。nerf只是把辐射场的物理先验知识（空间中包含发光气体）嵌入了sampling的部分而已。这对3d场景表示不是完美的，但确实非常有用，也掀起了热潮。
德国莱因取得OSHA北美太阳能安全标准测试资格
诺菲纳米完成上亿元C轮融资，国风投领投
LED智能照明市场环境如何？智能照明大势所趋详细数据分析
BICV亮相第九届国际智能网联汽车技术年会
华为胡厚崑：联接共创美好智能世界
即插即用！百度提出S3IM：用于NeRF提点的Magic Loss
借助物联网智能技术，可有效防治病虫害
新唐科技M451VE6AE控制器简介
汽车芯片短缺什么原因
粤芯半导体12英寸集成电路生产线将在年内投产
IGBT模块的一种驱动设计
以太网PoE LED Lighting产品介绍
设备厂商纷纷抗议！韩国政府拟加强OLED模组段设备出口及企业投资并购流程管控
盘点那些关于睡眠的智能硬件
2021年OPPO开发者大会:带来全新的体验
红米将首发6400万像素的手机 小米MIX4则首发一亿像素
以色列政府DNS服务器存在着Open SSH安全漏洞
奥地利微电子获誉台湾光电“最佳供应商”
双脉冲测试的原理及测试技巧
笔记本的铁布衫
s3im这个工作背后的想法实际上很简洁，从这个idea在脑海里形成到最后提交到iccv2023不过2个月时间。
s3im: stochastic structural similarity and its unreasonable effectiveness for neural fields
论文：arxiv.org/abs/2308.07032
代码：github.com/madaoer/s3im-neural-fields
用一句话来总结这个工作就是——我们提出了一种即插即用的loss s3im（随机结构相似性），可以近乎零成本地显著提升现存nerf类方法的性能指标。在几个场景里，我们甚至可以把tensorf和dvgo这些经典模型的test mse loss下降99%，同时把neus的几何重建指标（比如chamfer l1 distance）改善超过60%。
这里我们先看几组rgb和几何重建的可视化结果。
不仅如此，还可以提高对图像噪音的鲁棒性。如下图所示，s3im的渲染结果明显去掉了图像里灰蒙蒙的噪音。
毫无疑问，s3im极大地增强了现有的nerf类方法。
s3im的精髓在于以两个像素集合之间的相似性作为训练损失；像素集合一般包含数千个像素，这些像素一起贡献了互相关联的、全局的结构信息。
而nerf传统的mse是一种以两个独立像素之间的point-wise error作为训练损失；所以mse只包含了像素点孤立的信息、完全没有远距离或者全局的信息。
上面这两段话就是s3im的motivation。
为什么有结构信息更好？
这是一个很好的问题。
但我们先回答另一个相关的问题，为什么nerf的性能指标要有3个——psnr、ssim和lpips？
psnr就是像素之间point-wise的度量。很早大家就发现，psnr好不代表真的就好。
ssim（结构相似性）作为一种和人类视觉感知相关性更高的度量在2004年图像评估领域应运而生。
lpips则是一种通过预训练神经网络提取特征计算特征距离的指标（一般叫做感知指标）。
ssim和lpips其实都具备衡量两个像素集合之间相似性的能力，而且与人类视觉感知相关性都比psnr高。
熟悉nerf的读者都知道，传统nerf训练时是用mse loss。而psnr和mse其实就是一个简单的对数关系。
mse和psnr这类point-wise指标都是不够好的。一方面是和人类视觉感知相关性低，另一方面则是无法捕捉多个像素（像素集合）的整体信息。
那么ssim和lpips可不可以直接作为nerf的loss训练呢？
其实也可以，但仍然不够好。
因为ssim和lpips都是基于卷积核的相似性度量，它们只能捕捉相近像素的局部信息，不能捕捉更远的像素包含的结构信息。
我们的iccv工作就是把ssim（structural similarity）这个经典图像质量评估指标升级，变为s3im(stochastic structural similarity)。
这个升级方式也很简单。ssim只能在图像local patch用卷积核对吧。
那我们把nerf训练时每个minibatch的像素随机拼接成一个patch（叫做stochastic patch），然后再用ssim处理这些stochastic patch就行了。
有时候，真理就是这么朴实无华啊...
知名3d几何重建开源框架sdfstudio也已经把s3im方法合并进去了。
最后再放一个量化的实验结果。表里multiplex即是我们的s3im方法。
s3im这个工作是我们machine learning for fields系列工作的一环。我们在从机器学习的角度考虑场的问题。
无论是神经辐射场还是其他什么场，广义来说都是某个coordinate-wise的物理量。nerf只是把辐射场的物理先验知识（空间中包含发光气体）嵌入了sampling的部分而已。这对3d场景表示不是完美的，但确实非常有用，也掀起了热潮。
德国莱因取得OSHA北美太阳能安全标准测试资格
诺菲纳米完成上亿元C轮融资，国风投领投
LED智能照明市场环境如何？智能照明大势所趋详细数据分析
BICV亮相第九届国际智能网联汽车技术年会
华为胡厚崑：联接共创美好智能世界
即插即用！百度提出S3IM：用于NeRF提点的Magic Loss
借助物联网智能技术，可有效防治病虫害
新唐科技M451VE6AE控制器简介
汽车芯片短缺什么原因
粤芯半导体12英寸集成电路生产线将在年内投产
IGBT模块的一种驱动设计
以太网PoE LED Lighting产品介绍
设备厂商纷纷抗议！韩国政府拟加强OLED模组段设备出口及企业投资并购流程管控
盘点那些关于睡眠的智能硬件
2021年OPPO开发者大会:带来全新的体验
红米将首发6400万像素的手机 小米MIX4则首发一亿像素
以色列政府DNS服务器存在着Open SSH安全漏洞
奥地利微电子获誉台湾光电“最佳供应商”
双脉冲测试的原理及测试技巧
笔记本的铁布衫