NeRF：把整个场景塞进一个小神经网络
一句话
给网络一个空间坐标和一个观察方向，它告诉你那个点「有多实」（密度 σ）和「朝这个方向看是什么颜色」； 再沿相机视线把所有点积起来，就得到这张图的一个像素。因为整条链路可求导，只用一堆已知位姿的照片做梯度下降，就能把网络「训练成」这个场景。
它之前卡在哪
- 用体素/网格存场景 → 分辨率受限；LLFF 单个场景要 >15 GB
- 用模板网格做可微渲染 → 真实无约束场景根本拿不到模板
- 隐式场要沿光线反复查询网络 → 又慢又难做高频细节
两个关键设计
- 位置编码：把坐标升到高维高频基底，MLP 才拟合得出细节（不加就糊，PSNR 掉 2.2 dB）
- 分层采样：先粗采 64 点估个大概，再在「可能有东西」的区间细采 128 点，采样更省也更准
为什么它重要
它贡献了两个被后面所有工作继承的东西：
① 「辐射场」这个概念——场景 = 位置/方向 → 颜色/密度的函数；
② 体渲染公式——3DGS 的 alpha 合成正是它离散化后的样子。
3DGS：不用神经网络，用几百万个椭球「摆」出场景
关键洞察：两个公式其实是同一个
NeRF 体渲染的 alpha 合成，和点泼溅的 alpha 混合，本质是同一条公式。既然公式一样，就没必要用「连续场 + 沿光线采样」这种昂贵实现，可以直接用 GPU 光栅化天生擅长的显式图元。
每个高斯学什么
位置 μ、不透明度 α、球谐系数（颜色）、以及协方差 Σ = R S Sᵀ Rᵀ。
协方差拆成旋转 + 三个轴长分别优化，这样无论怎么更新都保证是合法椭球。
自适应密度控制（ADC）—— 后两篇论文都要打这里
- 判据：高斯在屏幕空间的位置梯度平均值 > 0.0002，就认为该处没建好
- 克隆：欠重建区域的小高斯，复制一份并沿梯度方向挪一点
- 分裂：过重建区域的大高斯，拆成两个，缩放除以 1.6
- 剪枝：不透明度 < 0.005 的、世界空间过大的、屏幕足迹过大的
换来的结果
Mip-NeRF360 数据集上：
训练 41 分钟（对比 48 小时）
渲染 134 fps（对比 0.06 fps）
画质 SSIM / LPIPS 反超
GaussianPro：让点云自己沿着表面「长」出来
痛点
SfM 在无纹理区产不出点，这些区域完全没被初始化。3DGS 的克隆/分裂只能从已有高斯就地产点，起点就错了， 结果整条街道的地面被几个巨大的错误高斯「糊」过去，换个视角就崩。
关键洞察
3D 高斯的「谁挨着谁」在三维里很难算；但投影到 2D 后，同一个局部平面上的高斯，投影必然落在相邻像素、且深度和法向接近。 那就借用多视图立体视觉（MVS）的成熟武器——局部平面补丁匹配 + 多视图光度一致性——在 2D 上传播几何，再反投影回 3D。
补点的四步
- 把当前高斯渲染成深度图 + 法向图（法向取椭球最短轴方向）
- 每个像素按棋盘格挑 8 个邻居，把邻居的平面「传」过来，用单应变换 warp 到相邻视角比颜色
- 多视图几何一致性过滤：不可靠的传播结果直接丢掉
- 过滤后深度与渲染深度相对差 > 0.8 的像素 → 就是没建好的地方 → 反投影成新高斯
不只补点，还管形状
传播出来的法向图当伪标签，加一个平面约束损失去监督高斯的朝向——让老点也长得更像真实表面。
这句话是张论文第 3 章最需要回应的对照。
Revising Densification：3DGS 判断「该不该加点」的尺子，本身是坏的
它攻击的是上一页那个判据
3DGS 用位置梯度决定要不要加点。但梯度只对「误差变不变化」敏感，对「误差本身有多大」是瞎的。
一片草地被几个大高斯糊住时，误差很大，可高斯在小范围里怎么挪都不改变误差 → 梯度≈0 → 永远不补点，一直糊着。
关键洞察
把判据从一阶梯度换成零阶误差：直接算每个像素的重建误差，按各高斯在该像素的混合权重把误差「分摊」下去， 谁背的误差大，就让谁优先分裂。判据从「误差的变化率」变成「误差本身」，量纲直观，阈值也好设。
误差得分怎么算（三步）
- 对每个像素算一个误差（本文用 SSIM）
- 按各高斯在该像素的 alpha 混合权重分摊给每个高斯
- 两次致密化之间，取所有视角上的最大值当得分；> 0.1 才允许长大
顺带修了三个坑
- 克隆后的不透明度修正：
α̂ = 1 − √(1−α)，不改的话克隆品权重被系统性放大 - 增长上限：按得分排序保留，每次最多新建 5%（防止 OOM）
- 平滑不透明度衰减替代原有的硬重置
张论文第 3 章做了什么
五步流程
- SfM 点云 → 跑第一次 3DGS
- 从球谐系数里切出椭球中心颜色：
sh[:, :3, 0]，再rgb = C₀·f_dc + C₁ - 得到直接带颜色的密集点云（点云数量级 3.92 万 → 26.57 万）
- 用半径滤波去噪
- 降噪后的点云作为新输入，跑第二次 3DGS
它识别出的两类噪声
- 接近透明的椭球（不透明度≈0.005）→ 产生「漂移点」，出现在重建目标前方或上方，稀疏散乱
- 对非主要目标过度学习 → 产生「孤立点」，远离主目标，小而密集
论文逐一论证了直通/条件/体素/统计滤波都不适用，最终选半径滤波： 邻域半径取所有投影近似圆半径的最小值，邻域最少点数 K=3（与 3DGS 初始化时用的 K 一致）。
报告的实验结果
在 Mip-NeRF360 上：SSIM +0.034、PSNR +0.685、LPIPS −0.081；
Deep Blending：+0.002 / +0.072 / −0.019；
Tank&Temples：+0.014 / +0.382 / −0.012。
提升幅度在 Mip-NeRF360 上最明显，在另两个数据集上较小。
D-NeRF：先把点「搬回标准姿势」，再查颜色
一句话讲清这个范式
不给每个时刻单独学一个模型，而是学一张共享的静态场景（规范空间）加一个把当前时刻映射回去的位移场。 这样任意两帧之间就通过规范空间「串」起来了——某一帧某个视角看不到的地方，可以从别的帧补回来。
成立的前提（很重要）
物体可以移动、可以变形，但不会凭空出现或消失。 所有帧说的是同一批点，只是位置不同——这就是「搬回去」这个动作能成立的物理依据。
网络怎么分工
- 变形网络 Ψt(x, t) → Δx：8 层 MLP，只管算位移，输出层不加非线性（因为位移要能正能负）
- 规范网络 Ψx(x, d) → (c, σ)：输出颜色和密度，只有它管「长什么样」
- 硬约束：令 t=0 时位移为 0，也就是规范空间就是第 0 帧
- 课程学习：按时间从小到大逐步加入图片，防止一上来就面对大变形
一个关键的「没有」
D-NeRF 完全没有变形正则化项。它防「变形乱动」只靠三件事：规范时刻硬约束、端到端联合训练、课程学习。
所以它在大变形、视角稀疏时会退化。补上这个洞的是下一篇 Nerfies。
Nerfies：变形场不能乱动，得管住它
它指出的根本问题
「联合优化 NeRF + 变形场」是一个欠约束问题。物体往后移动和物体缩小，在图像上看起来一样，中间还有无数个解。 不加先验，网络会给出扭曲、不合理的变形——看起来渲染对了，几何全是错的。
第三个改进：条件变量换了
D-NeRF 用时间 t 当条件；Nerfies 改成每帧一个可学习的隐变量 ωᵢ。 好处是不要求帧有时序、也不要求时间均匀，适合手机随手拍。代价是失去了显式的时间含义。
四道「别乱动」的防线
- 弹性正则：算变形映射的雅可比矩阵，惩罚它的奇异值偏离 1——也就是惩罚局部被拉伸/压扁/撕开，要求「尽可能刚」
- 鲁棒化：人不是完全刚性的（会有表情），所以对弹性项套一层鲁棒误差函数，降低异常点权重
- 按贡献加权：空白区域本来就该自由变形，不强行要求刚性
- 背景正则：SfM 里那些应当静止的三维点不许乱飘
还有一招：由粗到细
用滑动窗控制位置编码的频带——训练早期只允许学平滑的大动作，之后逐步放开高频细节。 这样能避开变形场的局部极小值。
小结：这个范式为什么必须换到 3DGS 上
范式本身：成立
D-NeRF 用三行分别展示规范空间、t=0.5、t=1.0 三个状态。 同一个物理点在三个状态下颜色一致，说明位移场确实学对了——而不是靠颜色硬编码糊过去。
但代价高得离谱
| D-NeRF / Nerfies | 换成 3DGS 后 | |
|---|---|---|
| 训练 | D-NeRF 单卡 2 天 Nerfies 全高清 8 卡 1 周 | 张论文第 5 章： 0.16 – 0.96 小时 |
| 渲染 | 沿光线采样 64 点跑 MLP | 投影 + alpha 混合，实时 |
| 高频细节 | Nerfies 要专门拿一张图 展示「能重建发丝」 | 3DGS 天然擅长 |
SPIn-NeRF：在 NeRF 上「点几下，把物体删掉补好」
它之前卡在哪
- NeRF 表示是纠缠的：场景信息全隐式编码在 MLP 权重里，不像图像或网格那样能直接挑出一块来改
- 2D 分割模型不懂 3D：单图掩码投到别的视角就残缺（被遮挡的部分根本投不到）
- 3D 修补的两难：既要单视角看着真实，又要跨视角一致——而逐视角修补出来的结果本身就是互相矛盾的
关键洞察
不训 3D 修补器（数据量根本不够），而是把现成的、不懂 3D 的 2D 模型（交互式分割 + 视频分割 + LaMa 图像修补）的输出「蒸馏」进 3D。 并且用感知损失 LPIPS 而不是像素 MSE 来监督掩码区域——因为 LPIPS 允许细节上不完全一致，从而容纳多视角 2D 修补结果之间的矛盾。
两个防退化的设计
- 深度先验：把含物体的初始 NeRF 渲染的深度也修补一遍，用它监督新 NeRF——专门治「为了解释矛盾而在相机附近长出雾状几何」
- Patch 级优化：算 LPIPS 要渲染整图，显存吃不消，于是只渲染掩码包围盒内的小块
Gaussian Grouping：给每个高斯挂一串「身份码」
关键洞察
3DGS 的每个高斯是离散、显式、可单独操作的。那就把「身份」也做成每个高斯的一个可学习属性， 和颜色完全平级处理，再用 SAM 的 2D 掩码去监督。训完之后，同一个物体上的高斯的身份码会自然聚在一起—— 于是「删掉某物体」就变成「把这一组高斯删掉」，不用重新训练。
四步流程
- SAM 的 everything 模式逐图生成掩码（此时同一物体在各视角 ID 不同）
- 把多视角图像当成一段视频序列，用零样本跟踪器 DEVA 关联同一实例
- 每个高斯加 16 维 Identity Encoding，改可微光栅化器把它泼溅到 2D
- 损失 = 2D 交叉熵（间接监督）+ 3D 近邻正则（直接约束编码）
为什么必须有 3D 正则项
只用 2D 损失会出现「透明熊问题」：熊内部那些在所有训练视角都被遮挡的高斯得不到监督，编码学不出来。 3D 正则要求空间上相邻的高斯编码接近，把这块补上。消融显示近邻数 K=5 时移除准确率从 41.2% 提到 76.6%。
跨视图关联为什么不用「线性分配」
基于代价的线性分配每次渲染迭代都要重算匹配：2K 次迭代要 1 小时、掩码噪声大、重建细节丢失； 换成 DEVA 零样本关联只要 1 分钟，提速 60 倍以上。而且当 DEVA 的 2D 掩码本身有错时，3D 高斯表示还能反向纠错。
结果与代价
LERF-Mask 上 mIoU 69.7 / 77.0 / 71.7（LERF 只有 33.5 / 28.3 / 49.7）；全景分割速度约 140–150 FPS。
代价：加入身份编码后重建质量略微下降——PSNR 28.69 → 28.43，SSIM 0.870 → 0.863，FPS 约 200 → 170。
张论文第 4 章 vs Gaussian Grouping：逐项对照
| Gaussian Grouping（08） | 张论文第 4 章 | |
|---|---|---|
| 身份属性 | 每高斯 16 维 Identity Encoding，可学习 | 每高斯 16 维身份标识编码，可微参数 |
| 2D 掩码来源 | SAM（everything）+ DEVA 关联 | SAM + DEVA 关联 |
| 特征视角相关 | 身份与视角无关 → SH degree = 0 | 未明确交代 SH degree |
| 渲染方式 | 改可微光栅化器，按深度 alpha 混合 | 改可微光栅化器，按深度 alpha 混合 |
| 2D 监督 | 16 维特征 → 线性层 → softmax → 交叉熵 | 16×H×W → Conv2d → 256×H×W → 交叉熵 |
| 线性层 | 16 → 256 通道 | 16 → 256 通道 |
| 类别数 K | 文中说是场景掩码总数，实现固定 256 | 按灰度图 0–255 论证为 256 类 |
| 3D 正则 | KL 散度，近邻 k=5，采样 m=1000 | KL 形式，近邻 k=3（对齐 3DGS 的 distCUDA） |
| 空洞定位 | 几何判据：渲染后无高斯覆盖的像素 | 语义判据：Grounding-DINO 检测模糊区域 + DEVA 关联 |
| 空洞填补 | LaMa 监督新增高斯微调 | 复制新高斯微调，掩码外 L1 + bbox 内 LPIPS，LaMa 监督 |
它多了什么
- 用 Grounding-DINO 检测删除后的模糊区域（Gaussian Grouping 用的是几何判据），并显式写出 L1 + LPIPS 的修补损失组合
- 把训练时间作为定量对比指标单列成表，与 SPIn-NeRF 正面比较
- 前置的第 3 章（点云提色与去噪）与本章无继承关系，属独立贡献
它少了什么
- 没有分割质量本身的定量评测（如 mIoU）——只报了 PSNR/SSIM/LPIPS 和训练时间，证明不了分组/分割有多准
- 没有对新增模块的消融：身份编码、3D 正则、Grounding-DINO 各自贡献多少，没有单独验证
Deformable 3D Gaussians：把高斯「冻结」在标准姿势，再让它动
为什么不是「给每个高斯加时间参数」
那样做会让参数数量爆炸，而且违背可微光栅化器快速可微的初衷，还会丢失运动的时空连续性。 所以把运动与静态结构解耦：高斯学在规范空间里，用一个纯隐式 MLP 变形场把它映射到时刻 t。
变形网络做什么
(δx, δr, δs) = F_θ( γ(sg(x)), γ(t) )
只预测位置、旋转、缩放的偏移量；不透明度 σ 和球谐颜色不参与变形（外观只依赖规范空间和视角方向）。
它的正则化：退火平滑训练（AST）
训练早期往时间编码里注入随迭代线性衰减的高斯噪声，逼网络学平滑的时间泛化；后期噪声归零保住高频细节。 好处是不增加任何计算开销——比 D-NeRF 那种「额外加光滑损失」的做法更省。
结果
D-NeRF 合成数据集上 PSNR 全部第一（如 Hell Warrior 41.54 vs D-NeRF 24.06）； 真实数据 NeRF-DS 上 24.11。消融显示去掉 AST 后 PSNR 只掉 0.14，但 SSIM 掉 0.018、LPIPS 差 0.027—— 它改善的是结构与感知质量，不是像素级 PSNR。
局限
强依赖视角多样性（视角稀疏会过拟合）与位姿精度；训练时间与高斯数量成正比； 只针对中等幅度运动。σ 和 SH 不参与变形，无法表达随时间变化的外观（如高光变化）。
另外两条路：4D-GS 与 SC-GS
10 · 4D-GS 把「某位置某时刻怎么动」存进 6 个平面
用多分辨率时空平面（xy / xz / yz / xt / yt / zt）编码每个高斯的时空特征，再用一个极小的三头 MLP 分别解码出位置、旋转、缩放的增量。运动知识存在离散的平面特征里，而不是 MLP 权重里。
11 · SC-GS 用几百个控制点当骨架
放约 512 个稀疏控制点（对比 10 万级的高斯），每个控制点学一套随时间变化的 6 自由度变换，附近高斯按距离加权「跟随」。再加 ARAP 局部刚性约束，防止控制点乱动导致局部塌陷或穿模。
| 09 Deformable 3D Gaussians | 10 4D-GS | 11 SC-GS | |
|---|---|---|---|
| 运动存在哪 | MLP 权重里（隐式、全局平滑） | 6 个时空平面特征（显式、离散、低秩） | 约 512 个控制点的 6DoF 变换（稀疏、紧凑） |
| 变形网络 | 单 MLP，8 层 × 256，单头输出 (δx, δr, δs) | 时空编码器 + 小 MLP + 三头解码器 | MLP 预测控制点变换 + RBF 加权 + LBS |
| 正则化 | AST 退火平滑（加噪） | L_tv（平面全变差） | L_arap（局部刚性） |
| 真独有能力 | 时序平滑，无需额外开销 | 最快 + 最省存储 | 用户可控运动编辑 |
| 主要软肋 | 依赖位姿与视角覆盖 | 低秩假设、有界体素 | 局部刚性假设、真实数据增益小 |
GaussianMesh：给物体套一层「网格皮」，拖着皮走
关键洞察
3DGS 由离散、无连接关系的高斯构成，本身没有拓扑，所以大变形一定会散架。但如果给每个高斯绑定一个显式三角网格面， 让网格充当「变形载体」，高斯相对网格面做小偏移来保留高频细节——那么网格的变形梯度（旋转 R + 剪切 S）就能干净地传递到高斯的旋转与缩放上。 因为仿射变换下高斯分布形式不变，这一步是闭式的、无需任何再优化，所以能实时。
几个关键设计
- 每个三角形面与高斯一一对应（不同于「一个面绑多个高斯」的做法）
- 新增可学习量：重心坐标 w + 沿法向偏移比 τ（让高斯能离开表面一点，表达毛发/草状细节）
- 正则 L_r：高斯最大尺度不超过所在面外接圆半径的 3 倍，抑制细长条高斯
- 整条 pipeline 不含任何网络参数，只优化高斯与网格属性
结果
单张 RTX 4090 上平均 65 FPS（训练约 20 分钟）；NeRF-Synthetic 上 PSNR 33.84 为全场最优。 消融显示 Normal Guidance 贡献最大（去掉后 33.84 → 32.17）。
局限
强依赖抽出的网格质量，抽不出网格就失效（如透明物体）；只能改几何，外观和光照烘焙进高斯后不可改； 拓扑固定，做不了切开、打孔、断裂。
张论文第 5 章 vs Deformable 3D Gaussians
| Deformable 3D Gaussians（09） | 张论文第 5 章 | |
|---|---|---|
| 整体框架 | 规范空间高斯 + 纯隐式 MLP 变形场，解耦运动与结构 | 「在规范空间学习变形场」「与变形场解耦」 |
| 网络输入 | γ(sg(x)) 与 γ(t)，位置停止梯度 | γ(x) 与 γ(t)，时间「间接条件化」 |
| 时间编码阶数 | 合成集 L(x)=10、L(t)=6；真实集都用 10 | 位置与时间统一取 L=10 |
| 网络结构 | 单 MLP，D=8，W=256，单头输出 | 8 层 × 256，第 4 层加残差连接，最后 3 层无激活 |
| 输出量 | (δx, δr, δs)；σ 与 SH 不变形 | (δx, δr, δs)；σ 与 SH 不变形 |
| 预热 | 前 3k 迭代只训高斯 | 前 3k 迭代预热，不优化变形场 |
| 优化器 | 单个 Adam，各分量不同学习率 | Adam；对 δx, δr, δs 各设独立优化器 |
| 正则化 | AST 退火平滑训练（核心贡献之一） | 正文未见任何正则化/平滑机制 |
| 损失函数 | 渲染损失 L1 + D-SSIM，梯度回流变形场与高斯 | 正文只提「可微光栅化反向优化」，未给出具体表达式 |
| 数据集 | D-NeRF 合成 8 场景 + NeRF-DS + HyperNeRF | D-NeRF 数据集中的 4 个场景 |
| 基线 | 3D-GS、D-NeRF、TiNeuVox、Tensor4D、K-Planes | 只有 D-NeRF（2021 年的隐式方法） |
| 消融 | 有 AST 专项消融（图 4 / 表 2） | 未见针对新增点的单独消融 |
目标论文：《基于高斯泼溅的辐射场变形方法研究》
第 3 章 优化点云数据驱动的性能改进
问题：3DGS 重建会产生大量带信息的点云，但没被利用；而这些点云本身不带颜色。
做法：把派生点云提取出颜色 → 半径滤波去噪 → 反馈回去跑第二次 3DGS。
对应前作：GaussianPro、Revising Densification
第 4 章 基于高斯泼溅的静态辐射场变形
问题：几百万个离散高斯没有身份信息，没法把某个物体单独选中、删除。
做法：给每个高斯加「身份标识编码」→ 聚类分组成不同物体 → 移除 → 检测模糊区并复制新高斯修补。
对应前作：Gaussian Grouping、SPIn-NeRF
第 5 章 基于高斯泼溅的动态辐射场变形
问题：3DGS 假设场景静止，不能重建随时间变形的动态场景。
做法：带时间标签的图像 → 时间与位置编码 → 变形网络输出偏移量 → 与规范空间高斯联合优化。
对应前作：Deformable 3D Gaussians、D-NeRF
