CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务_

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式 NeRF-to-NeRF 转换框架，适用于各种 NeRF 转换任务，例如文字驱动的 NeRF 编辑、着色、超分辨率、修复等，性能均表现极其出色！

论文地址：https://arxiv.org/abs/2404.02788
论文主页：https://xiangyueliu.github.io/GenN2N/
Github 地址：https://github.com/Lxiangyue/GenN2N
论文标题：GenN2N: Generative NeRF2NeRF Translation

近年来，神经辐射场（NeRF）因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而，一旦创建了 NeRF 场景，这些方法通常缺乏对生成几何和外观的进一步控制。因此，NeRF 编辑（NeRF Editing）最近成为了一个值得关注的研究重点。

目前的 NeRF 编辑方法通常是针对特定任务的，例如 NeRF 的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在 2D 图像编辑领域，开发通用的图像到图像（Image-to-image）转换方法成为一种趋势，例如利用 2D 生成模型 Stable Difussion 支持多功能的图像编辑。因此，我们提出了利用基础的 2D 生成模型进行通用的 NeRF 编辑。

随之而来的挑战是 NeRF 和 2D 图像之间的表示差距，尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的 NeRF 编辑方法 Instruct-NeRF2NeRF 对此进行了探究。其采用 “渲染 - 编辑 - 聚合” 的流程，通过逐步渲染多视角图像、编辑这些图像，将编辑图像聚合到 NeRF 中逐步更新 NeRF 场景。然而这种编辑方法，针对特定的编辑需求，经过大量的优化，只能生成一种特定编辑的结果，如果用户不满意则需要反复迭代尝试。

因此，我们提出了「GenN2N」，一种适用于多种 NeRF 编辑任务的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式来刻画编辑过程多解性，使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。

在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整个编辑空间，来学习与一组输入的 2D 编辑图像对应的所有可能的 3D NeRF 编辑分布，并用 GAN 为编辑 NeRF 的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种 3D 编辑结果。

相比于各种 NeRF 编辑任务的 SOTA 方法（ICCV2023 Oral 等），GenN2N 在编辑质量、多样性、效率等方面均优于已有方法。

方法介绍

我们首先进行 2D 图像编辑，然后将这些 2D 编辑提升到 3D NeRF 来实现生成式的 NeRF-to-NeRF 的转换。

A. 隐式蒸馏（Latent Distill）

我们用 Latent Distill Module 作为 VAE 的 encoder，为每张编辑图像学习一个隐式的编辑码，在 NeRF-to-NeRF 转换中通过此编辑码控制生成的内容。所有编辑码在 KL loss 的约束下服从一个良好的正态分布，以便更好地采样。为了解耦编辑内容和视角，我们精心设计了对比学习，鼓励相同编辑风格视角不同的图片的编辑码相近，不同编辑风格但视角相同的图片的编辑码互相远离。

B.NeRF-to-NeRF 的转换（Translated NeRF）

我们用 NeRF-to-NeRF Translation 作为 VAE 的 decoder，其以编辑码作为输入，将原始的 NeRF 修改为一个转换 NeRF。我们在原 NeRF 网络隐藏层之间添加了残差层，这些残差层以编辑码作为输入来调制隐藏层神经元，使得转换 NeRF 既能够保留原本 NeRF 的信息，又可以根据编辑码来控制转换 3D 内容。同时，NeRF-to-NeRF Translation 也作为生成器参与生成对抗训练。通过生成而非优化的方式，使得我们可以一次性得到多种转换结果，显著提升了 NeRF 转换效率和结果多样性。

C. 条件判别器（Conditional Discriminator）

转换 NeRF 的渲染图片构成了需要判别的生成空间，这些图片的编辑风格、渲染视角各异，导致生成空间非常复杂。因此我们提供一个 condition 作为判别器的额外信息。具体而言，判别器在鉴别生成器的渲染图片（负样本）或训练数据中的编辑图片（正样本）时，我们都从训练数据中再挑选一张相同视角的编辑图片作为条件，这使得判别器在鉴别正负样本时不会受到视角因素的干扰。

D. 推理（Inference）

在 GenN2N 优化后，用户可以从正态分布中随机采样出编辑码，输入转换 NeRF 即可生成出编辑后的高质量、多视角一致性的 3D NeRF 场景。

实验

我们在多种 NeRF-to-NeRF 任务上进行了大量的实验，包括 NeRF 文本驱动编辑、着色、超分辨率、修复等。实验结果展示了 GenN2N 卓越的编辑质量、多视角一致性、生成的多样性和编辑效率。

A. 基于文本的 NeRF 编辑

B.NeRF 着色

C.NeRF 超分辨率

D.NeRF 修复

对比实验

我们的方法与各种特定 NeRF 任务的 SOTA 方法进行了定性和定量对比（包括文本驱动编辑、着色、超分辨率和修复等）。结果表明，GenN2N 作为一个通用框架，其表现与特定任务 SOTA 相当或者更好，同时编辑结果具有更强的多样性（如下是 GenN2N 与 Instruct-NeRF2NeRF 在基于文本的 NeRF 编辑任务上的对比）。

A. 基于文本的 NeRF 编辑