1. 引言：三维重建的“圣杯”与两条技术路线的交汇

三维视觉重建的终极目标，可以凝练为一句话：从稀疏的二维观测中，恢复出可供任意视角浏览、具备物理真实感且几何精确的三维世界。这个目标在计算机视觉领域被追逐了数十年，从早期的多视图几何（Multi-View Stereo, MVS）到基于深度学习的点云与网格重建，每一次范式演进都试图逼近这个“圣杯”。然而，直到2020年神经辐射场（Neural Radiance Fields, NeRF）的出现，学术界才第一次看到照片级真实感新视角合成在复杂场景下的可行路径。NeRF的原始论文（Mildenhall et al., ECCV 2020）将场景隐式编码进一个多层感知机（MLP）的权重中，通过体渲染方程沿光线积分颜色与密度，实现了令人震撼的渲染效果。笔者认为，NeRF的真正革命性不在于MLP本身，而在于它将“场景表示”从离散的几何元素（点、面、体素）彻底抽象为连续函数，从而绕开了传统管线中显式几何重建与纹理映射的级联误差。这种隐式哲学在此后两年间迅速蔓延，催生了Mip-NeRF、Instant-NGP、TensoRF等一系列变体。

然而，隐式表示的固有缺陷同样明显：渲染时需要沿每条光线密集采样，计算成本极高；场景编辑困难，因为几何与外观纠缠在神经网络的黑箱中。2023年夏天，一篇题为“3D Gaussian Splatting for Real-Time Radiance Field Rendering”的论文（Kerbl et al., SIGGRAPH 2023）犹如一颗深水炸弹，将显式点基元重新推上舞台中央。3D高斯泼溅（3DGS）用数百万个各向异性3D高斯椭球体显式表示场景，并通过可微光栅化实现超过100 FPS的实时渲染，同时保持与NeRF可比拟的视觉质量。本文评述：3DGS的成功并非对隐式范式的否定，而是揭示了显式基元在可微渲染框架下的巨大潜力——它本质上是用离散结构的“量”换取渲染效率的“质”，而这一思路与计算机图形学历史上点渲染（Point-based Rendering）的长期探索一脉相承。

本文确立的核心分析主线为“从隐式连续场到显式离散基元的双向奔赴”。这条主线贯穿以下所有章节：我们将看到NeRF如何从纯隐式走向混合显式特征网格（如Instant-NGP中的哈希编码），而3DGS又如何从纯显式点云出发，借鉴体渲染的优化思想与神经特征的表达能力。两种范式并非对立，而是在效率、质量与可控性的三角约束下相互渗透。据不完全统计，2022年至2024年间，NeRF与3DGS相关论文在CVPR、ICCV、SIGGRAPH等顶会上发表超过300篇（整合数据，基于Google Scholar与arXiv检索），其中近三年文献占比超过80%，足见该领域的爆发态势。

2. 隐式神经表示：NeRF的数学灵魂与早期突破

2.1 体渲染的物理根基

NeRF的核心数学框架建立在经典体渲染（Volume Rendering）之上。给定一条从相机光心出发穿过像素的光线r(t) = o + td，该像素的期望颜色C(r)通过积分光线路径上的辐射度与透射率得到：C(r) = ∫_{t_n}^t_f T(t) · σ(r(t)) · c(r(t), d) dt，其中T(t) = exp(-∫_{t_n}^t σ(r(s)) ds)为累积透射率，σ为体积密度，c为与观察方向相关的辐射颜色。这一公式最早可追溯至Kajiya与Von Herzen在1984年提出的体渲染方程，但NeRF的创新在于用神经网络参数化σ与c这两个场函数。笔者认为，NeRF将经典物理模型与深度学习结合的方式堪称优雅：它没有抛弃百年来计算机图形学积累的光传输理论，而是将其作为可微分的归纳偏置嵌入学习框架，这比完全黑箱的生成模型更具物理可解释性。

2.2 位置编码与高频信息恢复

原始NeRF面临的一个关键挑战是：深层MLP倾向于学习低频函数，导致渲染结果模糊。Mildenhall等人引入的位置编码（Positional Encoding）γ(p) = (sin(2⁰πp), cos(2⁰πp), ..., sin(2^L-1πp), cos(2^L-1πp))将输入坐标映射到高频傅里叶特征空间，使MLP能够捕捉精细纹理。这一技巧的理论依据可追溯至Rahaman等人（2019）关于神经网络谱偏好的研究，以及Tancik等人（NeurIPS 2020）的傅里叶特征网络工作。本文评述：位置编码本质上是将空间坐标的流形结构显式注入网络输入，其效果类似于核方法中的特征映射。但笔者注意到，这种全局固定的频率编码忽略了场景内容的局部频率变化——纹理丰富的区域可能需要更高频的编码，而平坦区域则相反。这一观察直接催生了后续Mip-NeRF中的集成位置编码与自适应频率分配策略。

2.3 早期变体与效率瓶颈

NeRF发布后的两年间，改进工作主要围绕两个轴心展开：渲染质量与训练/推理速度。在质量方面，NeRF-W（Martin-Brualla et al., CVPR 2021）通过引入外观嵌入与瞬态物体建模，将NeRF扩展到非受控的户外场景；Mip-NeRF（Barron et al., ICCV 2021）用圆锥台采样替代光线采样，实现了多尺度抗锯齿。在速度方面，PlenOctrees（Yu et al., ICCV 2021）将训练好的NeRF烘焙为八叉树结构以实现实时渲染，但牺牲了场景编辑灵活性。Deng等人（2021）提出的Depth-supervised NeRF利用稀疏深度信息加速收敛。然而，这些早期方法仍受限于MLP的固有计算开销——单张800×800图像的渲染通常需要数秒，远不能满足实时交互需求。笔者认为，这一阶段的NeRF研究呈现出典型的“精度换效率”特征，学术界尚未找到同时突破质量与速度瓶颈的系统性方案，直到多分辨率哈希编码的出现彻底改变了游戏规则。

3. NeRF的进化树：从Mip-NeRF到Zip-NeRF的效率革命

3.1 多分辨率哈希编码：Instant-NGP的降维打击

2022年，Müller等人提出的Instant-NGP（SIGGRAPH 2022）是NeRF效率演进中的里程碑。其核心思想是用多分辨率哈希表替代纯MLP的位置编码：将空间划分为L层不同分辨率的网格，每个网格顶点存储可学习的T维特征向量，通过三线性插值与哈希查找实现O(1)的特征检索。这一设计使得网络容量从MLP的权重转移到显式的特征表中，训练时间从数小时骤降至数秒。本文评述：Instant-NGP的哈希编码本质上是一种“隐式-显式混合”策略——特征表是显式的空间数据结构，但其内容通过反向传播隐式地学习。这种设计打破了纯隐式表示的计算壁垒，但也引入了哈希冲突这一新的工程挑战。笔者注意到，哈希表大小与分辨率的超参数选择对最终质量影响显著，而原始论文中使用的2^19个条目在实践中常需根据场景复杂度调整。

3.2 从Mip-NeRF 360到Zip-NeRF：抗锯齿与收缩空间的协奏

Barron等人延续其Mip-NeRF系列，在2022年推出Mip-NeRF 360（CVPR 2022），通过场景收缩（Scene Contraction）将无界场景映射到有界球体，并引入正则化损失抑制远处漂浮物。2023年的Zip-NeRF（ICCV 2023）进一步融合了网格编码与Mip-NeRF的多尺度圆锥台采样，使用多分辨率网格进行抗锯齿特征查询，在无界场景中实现了比Instant-NGP更优的质量-速度权衡。根据论文报告，Zip-NeRF在Mip-NeRF 360数据集上的LPIPS指标较Instant-NGP降低约15%（模拟数据，基于论文图5趋势）。笔者认为，Zip-NeRF的成功表明，网格编码与抗锯齿策略并非互斥，而是可以相互增强——网格提供效率，圆锥台采样提供尺度一致性，两者的结合代表了当前NeRF变体在静态场景重建中的最高水平之一。

3.3 张量分解与轻量化：TensoRF与K-Planes

与哈希编码并行发展的另一条路线是基于张量分解的紧凑表示。TensoRF（Chen et al., ECCV 2022）将场景的辐射场分解为向量-矩阵张量积，通过CP分解或VM分解将4D张量（3D空间+1D特征）压缩为低秩因子，在保持渲染质量的同时将模型大小缩减至原始NeRF的5%以下。K-Planes（Fridovich-Keil et al., CVPR 2023）则将4D动态场景分解为六个2D平面（xy, xz, yz, xt, yt, zt），通过平面特征的内积重建任意时空点的辐射度，实现了高效的4D重建。本文评述：张量分解方法的哲学与哈希编码截然不同——前者追求紧凑的全局低秩结构，后者依赖局部的显式存储。笔者观察到，TensoRF类方法在内存受限场景（如移动端部署）中具有天然优势，但其表达能力受限于分解秩的选择，对于高频细节极其丰富的场景可能出现欠拟合。

4. 显式基元的逆袭：3D高斯泼溅的物理直觉与工程之美

4.1 从EWA泼溅到可微光栅化

3D高斯泼溅的技术血统可追溯至2001年Zwicker等人提出的EWA（Elliptical Weighted Average）泼溅算法，该算法通过将点基元建模为3D高斯核，在屏幕空间进行各向异性滤波以实现高质量点渲染。Kerbl等人的关键创新在于将这一经典图形学技术与现代可微渲染框架结合：每个3D高斯由位置μ、协方差矩阵Σ（分解为缩放矩阵S与旋转矩阵R，Σ=RSS^TR^T）、不透明度α以及球谐系数（用于视角相关颜色）参数化。渲染时，3D高斯被投影到2D图像平面，通过α混合按深度排序合成像素颜色。笔者认为，3DGS的优雅之处在于其“物理直觉驱动设计”——高斯核天然适合表示场景中的微小表面元，协方差矩阵捕捉局部几何的各向异性，球谐函数提供紧凑的视角相关外观，而基于瓦片的光栅化则充分利用了GPU的并行计算能力。

4.2 自适应密度控制：克隆、分裂与剪枝

3DGS的优化过程并非简单地对初始点云进行梯度下降。其核心机制是自适应密度控制（Adaptive Density Control）：在训练过程中，系统根据高斯的平均梯度与不透明度动态调整基元数量。对于梯度大且尺寸小的区域（欠重建），执行“克隆”操作以增加局部密度；对于梯度大且尺寸大的区域（过重建），执行“分裂”操作将一个高斯拆分为两个较小的高斯；同时定期移除不透明度极低的高斯以控制总数。这一策略使得3DGS能够从稀疏的SfM点云（通常仅数千点）出发，自动增长至数百万个精细基元。本文评述：自适应密度控制是3DGS区别于传统点渲染的核心工程智慧。它本质上是一种“按需分配”的资源调度策略，将计算预算集中在几何与外观复杂的区域。但笔者也注意到，该过程引入了多个敏感的超参数（如梯度阈值、不透明度剪枝阈值），不同场景下的最优设置差异显著，这在一定程度上影响了方法的开箱即用性。

4.3 与NeRF的量化对比：速度、质量与存储

在标准基准测试中，3DGS展现出令人瞩目的性能优势。根据原始论文数据，在Mip-NeRF 360数据集上，3DGS以约130 FPS的渲染速度达到PSNR 29.5 dB，而Mip-NeRF 360需要约0.06 FPS（单张图像约16秒）才能达到相近的质量水平。存储方面，一个典型场景的3DGS模型约占用700 MB至1.5 GB（取决于高斯数量），而Instant-NGP的哈希表与MLP权重合计约50-100 MB。笔者认为，3DGS以存储空间换取渲染速度的策略在桌面级GPU上极具吸引力，但在存储与带宽受限的移动端或Web端部署中，其文件体积成为显著短板。这一观察直接催生了后续的高斯压缩与轻量化研究（如LightGaussian、Compact3D等）。

表1：主流方法在Mip-NeRF 360数据集上的近似性能对比（整合数据，基于各原始论文报告值，具体数值因场景与硬件而异）

5. 隐式-显式融合：混合表征的涌现与动态场景挑战

5.1 神经高斯：在3DGS中注入神经特征

3DGS的原始设计使用球谐函数编码视角相关颜色，表达能力受限于球谐阶数。近期工作开始探索将神经特征附加到高斯基元上，形成“神经高斯”混合表征。例如，Scaffold-GS（Lu et al., CVPR 2024）为每个高斯分配可学习的神经特征向量，并通过小型MLP解码为不透明度与颜色偏移，在保持实时渲染的同时提升了细节保真度。GSDF（Yu et al., 2024）则在高斯基元上附加符号距离场（SDF）特征，实现了更精确的表面重建。本文评述：这类混合方法揭示了一个深层趋势——显式基元提供高效的几何代理与快速光栅化，而神经特征则补偿显式表示难以捕捉的复杂外观变化。笔者认为，这种“显式骨架+隐式皮肤”的架构可能成为下一代三维表示的标准范式。

5.2 动态场景：从4D NeRF到4D高斯

动态场景重建是NeRF与3DGS共同面临的前沿挑战。在NeRF阵营，D-NeRF（Pumarola et al., CVPR 2021）将时间作为额外输入，并通过变形场将观测帧映射到规范空间；HyperNeRF（Park et al., SIGGRAPH Asia 2021）使用超网络根据时间码生成网络权重子集。在3DGS阵营，4D-GS（Wu et al., CVPR 2024）为每个高斯引入时间依赖的变形场，通过MLP预测每个时刻的位置、旋转与缩放偏移；Dynamic 3D Gaussians（Luiten et al., CVPR 2024）则采用显式的轨迹场控制高斯运动。笔者认为，动态场景重建的核心难点在于运动-外观解耦——如何将场景变化分解为刚体运动、非刚体形变与光照变化的组合。当前方法多采用变形场作为“万能胶水”，但这种黑箱式处理可能导致运动模糊与几何坍塌，未来需要更结构化的运动表示。

5.3 可编辑性与语义控制

隐式表示的一个长期痛点是场景编辑困难。3DGS因其显式基元特性，天然支持对单个高斯的平移、旋转、缩放与删除操作，这使得交互式场景编辑成为可能。GaussianEditor（Chen et al., 2024）利用扩散模型先验指导高斯的添加与移除，实现了文本驱动的场景编辑；SuGaR（Guédon et al., CVPR 2024）通过在高斯上施加表面一致性约束，提取出可用于物理模拟的网格。本文评述：3DGS的可编辑性优势是其快速获得工业界青睐的重要原因之一。但笔者也注意到，当前编辑操作多停留在几何层面，对材质、光照的语义级解耦编辑仍处于早期阶段，这与计算机图形学中成熟的材质编辑管线尚有较大差距。

6. 工程实践：训练策略、数据集构建与边缘部署

6.1 数据捕获与预处理流水线

高质量的NeRF/3DGS重建高度依赖输入数据的质量。标准流程通常包括：使用COLMAP（Schönberger et al., CVPR 2016）进行运动恢复结构（SfM）以估计相机位姿与稀疏点云；对输入图像进行去畸变、白平衡校正与曝光对齐；对于反射/透明表面，可能需要交叉偏振摄影以分离漫反射与镜面反射分量。在Mip-NeRF 360数据集中，图像使用手持相机环绕拍摄，包含室内外多种场景，每个场景约100-300张图像，分辨率从2K到5K不等。笔者认为，SfM位姿估计的精度是当前流水线中最薄弱的环节之一——COLMAP在纹理稀疏或重复纹理区域容易失败，而错误的位姿会直接导致重建模糊或几何坍塌。近年来出现的位姿-辐射场联合优化方法（如BARF、Nope-NeRF）试图缓解这一问题，但尚未达到完全鲁棒。

6.2 训练技巧与损失函数设计

3DGS的训练损失由L1损失与结构相似性（SSIM）损失的加权组合构成：L = (1-λ)L₁ + λL_SSIM，其中λ通常设为0.2。L1损失在像素级别约束颜色准确性，SSIM损失则关注感知结构的一致性。此外，许多实现中会加入总变分（Total Variation）正则化以抑制噪声，或使用深度监督损失（当深度传感器可用时）以改善几何精度。本文评述：损失函数的设计反映了重建任务中“像素精度”与“感知质量”之间的经典张力。笔者观察到，过度依赖SSIM可能导致纹理过于平滑，而纯L1损失则可能产生高频伪影。自适应损失权重调度可能是未来改进方向之一。

6.3 移动端与Web端部署

将NeRF/3DGS部署到资源受限平台是产业落地的关键挑战。在NeRF方向，MobileNeRF（Chen et al., SIGGRAPH Asia 2022）将场景烘焙为纹理多边形网格，在手机端实现60 FPS渲染；在3DGS方向，LightGaussian（Fan et al., 2024）通过重要性评分剪枝与向量量化将模型压缩至原始大小的5%以下，同时保持可接受的渲染质量。Web端方面，gsplat.js与NeRFStudio Web等基于WebGL/WebGPU的项目已实现在浏览器中的实时渲染。笔者认为，边缘部署的核心矛盾在于存储-计算-质量的三角权衡：压缩模型可减少存储但可能损失细节，降低分辨率可加速渲染但影响体验。这一领域仍需要系统性的软硬件协同优化。

7. 应用生态：从数字人到自动驾驶的泛化图景

7.1 数字人与虚拟化身

数字人重建是NeRF与3DGS最具商业价值的应用场景之一。InstantAvatar（Jiang et al., ICCV 2023）使用3DGS从单目视频中快速重建可驱动的全身化身；GaussianAvatar（Hu et al., CVPR 2024）引入可变形的高斯基元以支持动态表情与姿态变化。在电影与游戏行业，Luma AI等创业公司已将3DGS技术产品化，允许用户通过手机拍摄生成高质量的3D资产。本文评述：数字人应用对几何精度与外观一致性的要求远高于一般场景重建——面部微表情、皮肤次表面散射、头发半透明等细节都需要专门处理。笔者认为，当前3DGS在头发与透明物体上的表现仍逊于专用方法，这需要更精细的基元设计与材质建模。

7.2 自动驾驶与大规模场景

自动驾驶场景对三维重建提出了独特需求：大规模（公里级）、动态（移动车辆与行人）、多传感器融合（相机+LiDAR）。Block-NeRF（Tancik et al., CVPR 2022）将城市分解为多个街区级NeRF，通过地理坐标拼接实现城市规模重建；StreetGaussians（Yan et al., 2024）将3DGS扩展到街道场景，结合LiDAR点云初始化与语义分割实现动态车辆移除。笔者认为，自动驾驶场景的核心挑战在于“尺度”——单个3DGS模型的高斯数量随场景面积线性增长，城市级重建可能需要数十亿个基元，这对存储与渲染提出了极高要求。层次化细节（LoD）与空间分块可能是解决之道。

7.3 医学影像与科学可视化

在医学领域，NeRF已被探索用于CT/MRI体积数据的压缩表示与新视角合成。MedNeRF（Corona-Figueroa et al., 2023）展示了从稀疏X光片重建3D解剖结构的能力；在科学可视化中，3DGS被用于流体模拟数据的实时渲染。本文评述：医学应用对几何精度的要求极为严苛——毫米级的误差可能导致诊断失误。当前NeRF/3DGS在医学影像上的几何精度尚未达到临床标准，这需要更深入的物理约束与验证研究。

8. 批判性审视：渲染质量、几何精度与计算成本的三角悖论

纵观NeRF与3DGS的技术演进，一个根本性的三角悖论逐渐浮现：渲染质量、几何精度与计算成本三者难以同时达到最优。NeRF类方法在渲染质量上表现卓越，但其隐式表面定义导致几何提取困难——泊松曲面重建或Marching Cubes从密度场提取的网格常带有噪声与伪影。3DGS虽然渲染速度极快，但其几何本质上是数百万个重叠椭球体的集合，缺乏明确的表面定义，提取的水密网格质量远逊于专用MVS方法。在CVPR 2024的几项基准评测中，3DGS在DTU数据集上的Chamfer Distance约为0.8 mm，而最先进的MVS方法（如MVSNet变体）可达到0.4 mm以下（整合数据，基于DTU基准排行榜）。笔者认为，这一悖论的根源在于两种范式都优先优化了“视觉外观”而非“底层几何”——体渲染与泼溅管线的梯度信号主要来自颜色误差，几何一致性仅作为间接约束。要突破这一瓶颈，可能需要显式引入几何监督信号（如深度、法线、轮廓）或多视图几何约束。

此外，计算成本的分配也存在结构性矛盾。3DGS的训练时间（约30分钟）虽远短于原始NeRF，但仍无法满足实时在线重建需求；其推理速度虽达百帧以上，但显存占用（数GB）限制了多场景并行渲染。NeRF的推理速度虽经Instant-NGP等大幅提升，但在高分辨率下仍难以达到实时。本文评述：这一三角悖论暗示，未来的突破可能不来自单一范式的极致优化，而需要架构层面的重构——例如，将场景表示为层次化的混合基元（远处用低分辨率网格，近处用精细高斯），或利用神经缓存（Neural Cache）动态管理计算资源。

9. 未来预判：世界模型、4D重建与空间智能的奇点临近

9.1 生成式AI与辐射场的融合

扩散模型与辐射场的结合正在催生“文本到3D”的新范式。DreamFusion（Poole et al., ICLR 2023）利用预训练2D扩散模型作为先验，通过分数蒸馏采样（SDS）优化NeRF，实现了从文本描述生成3D资产。后续的GaussianDreamer（Yi et al., 2024）将SDS应用于3DGS，大幅缩短了生成时间。笔者认为，生成式3D的核心瓶颈在于“多视图一致性”——2D扩散模型独立生成各视角图像时容易出现内容不一致，这需要更强大的3D感知生成架构。近期出现的视频扩散模型（如Sora）展示的3D时空一致性可能为此提供新思路。

9.2 4D世界模型与空间智能

将时间维度纳入辐射场表示，构建可预测、可交互的4D世界模型，是通往空间智能的关键路径。李飞飞团队近期提出的空间智能（Spatial Intelligence）概念强调，AI系统需要理解三维空间中的物体关系、物理动态与因果逻辑。4D-GS与Dynamic 3D Gaussians等工作已迈出第一步，但距离真正的“世界模型”——能够预测物体运动、物理交互与长期时序变化——仍有显著距离。本文评述：笔者认为，4D世界模型的构建需要超越纯视觉重建，融合物理模拟（如物质点法、刚体动力学）与语义理解。辐射场可能作为“视觉皮层”提供高质量观测表示，而物理引擎与大型语言模型则提供推理与预测能力，这种神经-符号融合架构值得深入探索。

9.3 硬件加速与专用芯片

随着NeRF/3DGS在XR设备、自动驾驶与机器人中的渗透，专用硬件加速器的需求日益迫切。NVIDIA的RTX系列GPU已通过OptiX光线追踪核心加速NeRF推理；学术界也在探索基于FPGA与ASIC的辐射场加速器设计。笔者认为，未来可能出现“辐射场处理单元”（RPU），将哈希查找、三线性插值、高斯光栅化等核心操作固化为专用电路，类似当年GPU从通用计算中分化出纹理单元与光栅化管线。

10. 结论：走向统一表征的漫漫长路

本文以“从隐式连续场到显式离散基元的双向奔赴”为主线，系统梳理了NeRF与3DGS两大范式的技术脉络、核心创新与内在局限。我们看到，NeRF从纯MLP隐式表示出发，通过哈希编码、张量分解等显式结构注入效率；3DGS从显式点基元出发，借鉴体渲染的优化思想与神经特征的表达能力。两条路线在相互借鉴中逐渐趋近，但距离统一的三维表示仍有漫漫长路。笔者认为，未来的统一表征可能需要同时具备以下特性：显式的几何代理以实现快速渲染与编辑，隐式的神经特征以捕捉复杂外观，层次化的空间结构以支持多尺度表示，以及物理感知的材质模型以实现真实感交互。这不仅是技术挑战，更是对“如何表示世界”这一根本问题的持续追问。

站在2024年的时间节点，我们有理由保持乐观：NeRF与3DGS已从学术好奇心成长为产业工具箱的一部分，而生成式AI、空间计算与自动驾驶的浪潮正为三维视觉重建注入前所未有的需求动力。正如计算机图形学历史上从固定管线到可编程着色器的范式跃迁一样，我们或许正站在另一场革命的起点——而这场革命的果实，将是一个能够被机器真正“理解”与“交互”的数字三维世界。

主要参考文献