文章目录

1. 引言：对地观测的第三维度与第四维度

遥感技术自诞生以来，始终在追求对地球表面更精确、更全面的数字化描述。如果说早期光学遥感解决了“是什么”的光谱分类问题，合成孔径雷达（SAR）攻克了“全天候”的成像能力瓶颈，那么三维重建则致力于回答“空间形态如何”这一根本性几何问题。然而，地球表层系统是一个持续演化的动态综合体——城市扩张、冰川消融、植被季相更替、地质灾害突发位移，这些现象的本质是三维几何形态在时间轴上的连续变化。

传统的遥感三维重建技术，无论是基于立体像对的经典摄影测量，还是基于多视图几何的运动恢复结构（Structure from Motion, SfM），其底层假设均建立在场景静止的前提之上。这一范式在处理单时相高分辨率影像时已臻成熟，全球尺度的数字高程模型（DEM）产品如ALOS World 3D、Copernicus DEM便是其辉煌成就的注脚。然而，当我们将目光投向城市数字孪生的月度更新、灾害应急的小时级形变捕获、或者植被生长的季节动态监测时，静态重建的“快照”本质便暴露出根本性的方法论局限。

近年来，计算机视觉与图形学领域的两股浪潮——神经辐射场（Neural Radiance Fields, NeRF）与3D高斯泼溅（3D Gaussian Splatting, 3DGS）——正在重塑三维重建的技术版图。它们以可微分渲染为桥梁，将场景表征为连续函数或显式基元，绕过了传统管线中特征匹配、深度估计、网格生成的级联误差。更为关键的是，这些新生范式天然具备扩展至时间维度的潜力：通过将时间编码为额外输入维度，或学习基元运动的形变场，静态场景的“辐射场”可被重构为动态场景的“时空场”。

笔者认为，遥感影像三维重建正站在一个范式跃迁的临界点。这一跃迁不仅仅是技术工具的迭代，更是从“几何复现”到“过程重建”的认识论升级。本文试图确立一条贯穿全文的分析主线：动态场景重建的核心矛盾并非单纯的数据维度增加，而在于如何将物理世界中时空耦合的先验约束（如运动连续性、几何不变性、光照一致性）有效注入数据驱动的学习框架，从而实现从“内插式重建”到“外推式预测”的跨越。 围绕这一主线，本文将依次剖析静态重建的遗产与负债、神经渲染的赋能与挑战、时序融合的策略与瓶颈，并对未来四维时空重建的工程路径与学术方向进行深度思辨。

2. 静态重建的经典范式与技术瓶颈

静态场景的三维重建构成了遥感对地观测的基石。其核心目标是从一组二维投影中恢复场景的三维几何结构。这一领域的技术演进呈现出清晰的“几何优先”特征，即高度依赖多视图几何原理与光学成像模型。

2.1 多视图几何与光束法平差

运动恢复结构（SfM）是静态重建管线的前端核心。其基本流程包括特征点提取（如SIFT、SuperPoint）、特征匹配、几何验证与增量式或全局式相机位姿估计。SfM的输出是稀疏三维点云与相机内外参数，其数学本质是最小化重投影误差的非线性优化问题，即光束法平差（Bundle Adjustment, BA）。

在遥感场景中，SfM面临区别于近景摄影的独特挑战。卫星影像的成像几何近似于弱透视或仿射模型，基高比通常较小，导致深度方向的分辨率远低于平面方向。此外，大范围场景的特征匹配易受重复纹理（如农田、沙漠）与光照变化干扰。针对这些问题，有理函数模型（Rational Function Model, RFM）被广泛用于替代严格的物理成像模型，通过多项式比值建立像方与物方坐标的映射关系。研究表明，基于RFM的BA在WorldView-3等高分卫星影像处理中，无控定位精度可达米级（Fraser & Ravanbakhsh, 2021）。

本文评述：RFM虽然简化了成像几何的表达，但其本质上是一种“黑箱”近似，牺牲了物理可解释性。当影像存在显著几何畸变或需要融合多源异构传感器（如光学与SAR）时，RFM的泛化能力便捉襟见肘。笔者认为，未来SfM的发展方向应是“物理模型引导的深度学习”，即以成像物理模型为主干，利用神经网络学习残余畸变或不确定性，而非完全抛弃几何先验。

2.2 半全局匹配与多视立体视觉

在获得相机位姿后，多视立体视觉（Multi-View Stereo, MVS）负责生成稠密深度图或点云。半全局匹配（Semi-Global Matching, SGM）及其变体是遥感领域应用最广泛的MVS算法。SGM通过沿多条扫描线聚合匹配代价，以动态规划逼近全局能量最小化，在效率与精度之间取得了良好平衡。德国航空航天中心（DLR）的SGM实现已被集成至多个商业摄影测量软件中。

近年来，基于深度学习的MVS方法如MVSNet、CasMVSNet等开始渗透至遥感领域。这些方法构建代价体（Cost Volume）并通过3D CNN进行正则化，在DTU、Tanks and Temples等基准上显著超越了传统方法。然而，遥感影像的巨大幅宽与有限显存之间存在尖锐矛盾。针对此，有学者提出分块重建与全局融合策略，或采用循环神经网络进行序贯深度估计以降低显存占用（Wang et al., 2022）。

笔者认为，深度学习MVS在遥感场景的落地，瓶颈不在于网络结构本身，而在于真值训练数据的极度匮乏。航空LiDAR点云可作为稀疏真值，但其密度与覆盖范围有限。合成数据虽可无限生成，但域迁移（Domain Gap）问题严重。这一困境的破局之道可能在于自监督学习，即利用多视影像的光度一致性作为监督信号，无需显式三维真值。

2.3 静态重建的固有局限

静态重建范式的根本局限在于其核心假设——场景在影像获取期间保持不变。这一假设在以下典型场景中失效：

其一，多时相影像的联合处理。当希望利用不同时期获取的影像提升重建精度或覆盖范围时，地物变化（新建建筑、植被生长、水体涨落）会导致特征匹配失败或深度图矛盾。传统方法通常将变化区域视为“外点”剔除，本质上放弃了这些区域的三维信息。

其二，非刚性目标的几何描述。冰川、沙丘、植被冠层等目标本身即处于持续运动或形变中，其“静态”几何形态是一个伪命题。对这些目标的重建必须引入时间维度，描述其形态变化的轨迹。

其三，长序列卫星视频数据。以吉林一号、SkySat为代表的视频卫星可获取同一场景的连续帧序列。若仍逐帧进行独立静态重建，不仅效率低下，更浪费了帧间运动信息这一宝贵先验。

上述局限共同指向一个结论：静态重建是动态重建在时间变化趋于零时的特例。 要实现真正意义上的场景全面数字化，必须将时间维度内化为重建模型的一等公民。

3. 神经渲染驱动的三维重建革命

2020年Mildenhall等人提出的神经辐射场（NeRF）标志着三维视觉进入了一个新时代。NeRF的核心思想是用一个多层感知机（MLP）隐式表征场景的连续辐射场与密度场，通过体渲染公式可微分地生成新视角图像。这一范式绕过了显式几何重建的中间步骤，直接以光度误差驱动场景表征的学习。

3.1 神经辐射场（NeRF）的遥感适配

将NeRF直接应用于遥感影像面临多重挑战。遥感影像通常具有大场景范围、稀疏视角、变化剧烈光照以及显著的前景遮挡（如云层）。针对这些挑战，学术界已展开积极探索。

在尺度适应性方面，Mip-NeRF通过引入锥形采样与积分位置编码，有效缓解了多尺度分辨率下的混叠问题。Urban-NeRF（Rematas et al., 2022）针对城市尺度场景，结合激光雷达点云作为几何先验，实现了大范围城市场景的高质量重建。在遥感领域，Sat-NeRF（Mari et al., 2022）首次系统性地探索了NeRF用于卫星影像三维重建的潜力。该工作利用多视角卫星影像，联合优化场景几何与太阳方向依赖的辐射模型，能够同时输出数字表面模型（DSM）与反照率图。

本文评述：Sat-NeRF的贡献在于将遥感物理模型（太阳辐照度、大气效应）部分融入NeRF框架，但其对大气散射的处理仍较为简化。笔者认为，遥感NeRF的下一个突破点应是“全物理渲染”与“神经渲染”的深度融合——将辐射传输方程作为可微分模块嵌入网络，而非单纯依赖数据驱动拟合光照效应。这一思路在EO-NeRF（2023）等后续工作中已有初步体现。

在稀疏视角问题上，DS-NeRF利用稀疏深度监督，GeoNeRF引入几何先验约束，均显著减少了所需视角数量。对于卫星影像常见的个位数视角场景，这些技术路线具有重要参考价值。

3.2 3D高斯泼溅：显式表征的高效路径

2023年，Kerbl等人提出的3D高斯泼溅（3DGS）以惊人的渲染速度与质量震动了整个三维视觉社区。3DGS将场景表征为大量各向异性三维高斯基元的集合，每个基元携带位置、协方差、颜色与不透明度属性。通过基于瓦片的光栅化渲染，3DGS实现了实时新视角合成，同时保持了与NeRF相当的视觉质量。

3DGS的显式特性使其在遥感场景中展现出独特优势：

第一，几何可编辑性。显式基元允许直接对场景进行局部修改、分割与测量，这对于需要提取矢量地图或进行变化检测的遥感应用至关重要。隐式表征（如NeRF的MLP权重）则难以进行此类操作。

第二，训练与渲染效率。3DGS的训练时间可从NeRF的数小时缩短至数十分钟，渲染帧率可达数百FPS。对于大范围遥感场景的快速重建与可视化，这一效率优势具有决定性意义。

第三，与图形管线的兼容性。3DGS的点云本质使其可无缝衔接现有三维处理软件与硬件光栅化管线。

然而，3DGS在遥感场景也面临“基元爆炸”问题——大范围场景需要数千万乃至数亿高斯基元，对显存与存储构成压力。近期工作如Compact3D、LightGaussian等通过向量量化、剪枝等技术压缩基元数量，为遥感应用提供了可行路径。

3.3 从辐射场到表面重建的鸿沟

无论是NeRF还是3DGS，其原生输出是辐射场或基元集合，而非传统意义上的几何表面。从辐射场提取高质量表面（如网格或DSM）仍是一个开放问题。NeRF的密度场在表面附近并非阶跃函数，导致提取的等值面存在噪声与偏移。3DGS的高斯基元虽具有明确空间位置，但其各向异性协方差使得“表面”定义本身变得模糊。

笔者认为，这一鸿沟的本质是“视觉质量”与“几何精度”之间的张力。神经渲染以牺牲几何精确性为代价换取了无与伦比的视觉真实感。对于遥感测绘而言，几何精度（尤其是高程精度）是不可妥协的核心指标。因此，未来研究必须明确区分“可视化重建”与“测量级重建”两种目标，并发展相应的精度评估体系。

4. 动态场景重建：时序信息的融合与表征

动态场景重建是本文的核心议题。其本质是在三维几何重建的基础上，增加时间维度，构建场景的四维时空模型。这一跃迁并非简单的维度扩展，而是对重建范式本身的重新定义。

4.1 四维时空场的建模策略

当前，将神经渲染扩展至动态场景的主流策略可分为三类：

（1）时间条件辐射场。将时间t作为额外输入维度馈入MLP，学习一个五维函数F(x, y, z, θ, φ, t)。D-NeRF（Pumarola et al., 2021）是这一方向的先驱，其将场景分解为规范空间（Canonical Space）与形变场（Deformation Field），形变场将每个时空点映射至规范空间。这一“规范空间+形变”的范式成为后续多数动态NeRF工作的基础架构。

（2）时空分解模型。利用张量分解或平面分解将四维时空场解耦为低维组件的组合。K-Planes（Fridovich-Keil et al., 2023）将四维场分解为六个二维平面的外积，HexPlane则使用六个特征平面与一个体素网格。这些方法在保持紧凑表征的同时，实现了高效的训练与渲染。

（3）4D高斯泼溅。将3DGS扩展至时间维度，每个高斯基元额外携带时间依赖的运动参数（如速度、加速度或样条控制点）。4DGS（Wu et al., 2024）通过联合优化基元属性与运动轨迹，实现了动态场景的实时渲染。

本文评述：上述方法在近景动态场景（如人体动作、移动物体）中表现惊艳，但直接迁移至遥感动态场景时面临根本性困难。遥感动态变化的时空尺度跨度极大——从地震引发的米级瞬时位移，到城市扩张的年际缓慢演变，再到植被物候的季节性循环。单一形变场难以统一描述如此丰富的动态模式。笔者认为，遥感动态重建需要“多尺度时空表征”，即针对不同时间频率的变化分量采用不同的建模策略——高频事件用局部形变场，低频趋势用全局参数化模型，周期性变化用傅里叶基函数。

4.2 差分干涉与形变监测的融合

在遥感领域，时序形变监测已有成熟的技术体系——合成孔径雷达差分干涉测量（DInSAR）及其高级变体（PS-InSAR, SBAS-InSAR）。这些技术利用SAR影像的相位信息，可检测毫米级的地表形变，已广泛应用于地震、火山、地面沉降等地质灾害监测。

将InSAR形变信息融入光学三维重建是一个极具前景的交叉方向。InSAR提供高精度的视线向（Line-of-Sight）形变测量，而光学重建提供三维几何与纹理信息。二者融合可实现“几何-形变”的一体化建模。具体技术路径包括：

（1）形变场作为几何重建的约束。在动态重建的损失函数中增加形变一致性项，要求重建的几何变化与InSAR测量的形变场一致。

（2）光学影像辅助InSAR解缠与解译。利用光学重建的三维几何信息辅助相位解缠，或为形变信号提供语义上下文（如区分建筑物沉降与植被变化）。

笔者认为，光学与SAR的深度融合是遥感动态重建的必由之路。当前两种数据源的处理仍相对独立，缺乏统一的时空表征框架。未来的“神经SAR-光学融合”模型有望在一个端到端可微分框架内，联合利用SAR的相位信息与光学的纹理/几何信息，实现更高精度、更全属性的四维场景重建。

4.3 卫星视频与动态事件相机

卫星视频是动态场景重建的理想数据源。吉林一号星座已具备视频成像能力，SkySat、Planet SkySat等也提供视频产品。卫星视频以固定视角获取场景的连续帧序列，帧间时间间隔短（秒级），为运动估计与动态重建提供了丰富信息。

然而，卫星视频的动态重建面临独特挑战：帧间基线极小导致深度估计困难，平台颤振引入高频噪声，大气湍流造成几何畸变。针对这些挑战，有学者提出联合时空超分辨率与三维重建的框架，利用多帧信息相互增强（Zhang et al., 2023）。

另一个值得关注的前沿是动态视觉传感器（Event Camera）在遥感中的应用。事件相机异步记录亮度变化的时空脉冲，具有微秒级时间分辨率与高动态范围。虽然星载事件相机尚处于实验阶段，但其在动态场景感知方面的潜力巨大——能够以极低数据率捕获场景中的运动边缘，天然适合变化检测与运动目标跟踪。

5. 核心数据集与评估基准

数据是驱动遥感三维重建技术发展的燃料。以下梳理当前领域内的关键数据集，并说明其预处理细节与适用场景。

表1：遥感三维重建与动态场景核心数据集概览（数据来源：各数据集官方发布文献与网站）

上述数据集的共同局限在于：缺乏同时包含高精度三维几何真值与长时序动态变化标注的大规模基准。 现有数据集或聚焦静态几何精度（如DFC2019），或聚焦二维变化检测（如LEVIR-CD+），鲜有将三维几何变化作为评估目标。笔者认为，构建“四维重建基准数据集”是推动该领域发展的紧迫任务。该数据集应包含：多时相高分辨率立体/多视影像、同步或准同步的LiDAR点云真值、以及精细标注的三维变化矢量场。

6. 本文独创性分析主线：从“几何一致性”到“物理过程一致性”

经过前述技术梳理，本文的核心论点已逐渐清晰。笔者认为，遥感影像三维重建从静态走向动态，其深层逻辑并非简单的“增加一个维度”，而是优化目标的根本性迁移：从追求“几何一致性”转向追求“物理过程一致性”。

这一主线的确立对技术路线选择具有指导意义：

（1）损失函数设计。除传统的光度损失与几何损失外，应增加物理一致性损失项。例如，对于冰川动态重建，可引入基于冰川流动模型的形变场平滑约束；对于城市建筑重建，可引入刚体运动约束。

（2）表征方式选择。显式表征（如3DGS）比隐式表征（如NeRF）更易于施加局部物理约束，因为基元的运动可被独立参数化与约束。但隐式表征在表达连续形变场方面具有优势。混合表征可能是最优解。

（3）多源数据融合。InSAR形变测量、GNSS位移监测、气象再分析数据等外部物理观测应被有机融入重建流程，作为物理一致性的“锚点”。

笔者认为，这一主线也揭示了当前研究的深层不足：多数动态重建方法仍停留在“视觉层面的动态”——即追求新视角新时刻的图像渲染质量，而非“物理层面的动态”——即准确恢复场景中每个物质点的运动轨迹与属性变化。后者才是遥感对地观测的终极目标。

7. 工程实践洞察与未来预判

基于上述分析，本节从工程落地与学术前沿两个维度，提出若干洞察与预判。

7.1 计算效率与边缘部署

遥感三维重建的计算负载长期居高不下。传统SfM+MVS管线处理单景高分卫星影像需数十分钟，NeRF训练需数小时，动态NeRF更是动辄数十小时。这一计算门槛严重制约了应急响应等时效敏感应用。

3DGS的出现为效率问题提供了突破性方案。其训练速度较NeRF提升1-2个数量级，渲染速度达到实时。近期工作如Feed-Forward 3DGS更进一步，通过前馈网络直接从稀疏视图预测高斯基元属性，将“重建”时间压缩至秒级。这一技术路线对于卫星视频的实时动态重建具有重大潜力。

笔者预判，未来3-5年内，星上实时三维重建将成为现实。星载AI芯片算力的提升（如NVIDIA Jetson AGX Orin的航天级版本）与轻量化神经渲染模型的结合，将使得卫星能够在轨完成从影像获取到三维动态模型输出的全流程处理，仅下传重建结果而非原始影像，从而革命性地提升对地观测系统的信息时效性。

7.2 基础模型与通用表征

大语言模型（LLM）与视觉基础模型（如SAM、DINOv2）的成功启示我们：遥感三维重建领域是否也需要一个“基础模型”？该模型应能在大规模、多源、多时相遥感数据上进行预训练，学习通用的三维场景表征，并可快速微调适配下游任务（如变化检测、语义分割、形变分析）。

这一愿景面临的核心挑战在于三维数据的异构性与稀缺性。与二维图像不同，三维真值数据获取成本高昂。可能的突破路径包括：自监督预训练（利用多视几何一致性）、跨模态蒸馏（从二维基础模型向三维表征迁移知识）、以及合成数据预训练结合真实数据微调。

笔者认为，遥感三维基础模型的关键不在于模型规模，而在于表征的“时空解耦”能力——即学习到的特征应能分离场景的静态几何属性、动态变化模式与瞬态观测条件（光照、大气、视角）。只有实现这种解耦，模型才具备真正的泛化与推理能力。

7.3 数字孪生与决策支持

遥感动态三维重建的终极应用场景是构建地球数字孪生——一个与物理世界实时同步、可仿真推演的数字镜像。在这一愿景中，遥感影像不再是最终产品，而是驱动数字孪生持续更新的数据流。

这对重建技术提出了超越视觉层面的要求：数字孪生中的三维模型必须具备物理属性（材质、质量、结构应力）与行为规则（交通流、能量交换、生态演替）。这意味着未来的动态重建需要与物理仿真模型、物联网传感器网络、社会经济模型深度耦合。

本文评述：当前多数“数字孪生”项目仍停留在可视化层面，缺乏真正的“孪生”能力——即双向交互与预测推演。遥感动态重建技术应主动拥抱物理信息神经网络（Physics-Informed Neural Networks, PINNs）与可微分仿真，将物理方程作为硬约束或软先验嵌入重建流程，从而实现从“数据镜像”到“过程孪生”的跨越。

8. 结论

本文系统梳理了遥感影像三维重建从静态几何复现到动态时序场景重建的技术演进脉络。通过深入分析多视图几何、神经辐射场、3D高斯泼溅等核心技术，以及四维时空场建模、InSAR融合、卫星视频处理等前沿方向，本文揭示了该领域正在发生的范式跃迁。

本文确立的核心分析主线——从“几何一致性”到“物理过程一致性”的优化目标迁移——为理解动态重建的本质挑战提供了新视角。笔者认为，只有将物理世界的基本规律（运动连续性、几何不变性、质量守恒等）显式编码为重建模型的约束或先验，才能实现从“内插式重建”到“外推式预测”的跨越，真正释放遥感动态三维重建在灾害应急、城市治理、环境监测等领域的应用潜力。

展望未来，星上实时重建、遥感三维基础模型、以及物理-数据融合的数字孪生将是三大战略方向。这些方向的突破不仅依赖算法创新，更需要跨学科协作——摄影测量、计算机视觉、计算机图形学、地球物理与大气科学的深度融合，将是推动遥感三维重建迈入新纪元的根本动力。