用 Fmask 算法做云检测与掩膜：一键剔除影像中的云和云影

一、云检测为什么难：从物理机理说起

要理解Fmask的每一个阈值为什么这样设，必须先回到云在光学遥感中的物理表现。云是大气中水汽凝结物组成的悬浮体，其光学行为由两部分决定：一是液态水滴或冰晶的散射与吸收特性，二是云层厚度、高度与太阳—传感器几何关系。这两个因素叠加，导致同一朵云在不同波段、不同观测角度下呈现完全不同的"面孔"。

1.1 云的光谱"指纹"

在可见光—近红外（VNIR）区间，厚云的反射率普遍偏高，蓝光波段（Landsat 8 的 Band 2，0.45–0.51 μm）尤为明显，这是因为云滴粒径与可见光波长量级接近，米氏散射强烈。进入短波红外（SWIR，如 Band 6，1.57–1.65 μm 与 Band 7，2.11–2.29 μm），云滴对辐射的吸收增强，厚云反射率反而下降。这一"可见光高、SWIR低"的反差，是Fmask区分云与雪、亮地表的核心依据之一。

薄云（卷云、薄卷层云）则更棘手。卷云主要由冰晶构成，在1.38 μm附近有强水汽吸收带，而该波段恰好位于Landsat 8 Band 9（1.36–1.38 μm）范围内。由于大气中水汽在1.38 μm几乎完全吸收地表反射，任何在该波段出现的高反射信号，大概率来自高层冰晶云。这是Fmask引入Band 9做卷云检测的物理基础。

本文评述：很多教程把Fmask的阈值当作"魔法数字"直接抄用，却忽略了每个阈值背后的辐射传输假设。一旦数据源从Landsat 8换到Sentinel-2或国产高分卫星，波段中心位置、带宽、辐射定标方式都变了，照搬阈值必然翻车。理解机理比记住数字重要得多。

1.2 云影的几何推理

云影本质上是被云遮挡后地表接收不到直接太阳辐射的区域，其光谱特征是"暗但不黑"——反射率整体下降，但下降幅度受地表本身反射率影响。在植被区，云影会让近红外反射率显著降低；在裸土区，可见光与SWIR同步下降。单纯用"暗像元"阈值无法区分云影与水体、阴影地形、深色植被。

Fmask的破局思路是几何推理：既然云影是云遮挡太阳光形成的，那么云影必然位于云的"背光侧"，且云影与云的距离由太阳高度角、太阳方位角、云高共同决定。算法先识别云，再按太阳几何关系把云投影到地表，投影区域附近搜索暗像元，即可高置信度判定云影。这一"先找云、再推影"的顺序，是Fmask区别于纯光谱方法的关键。

1.3 四类易混目标的判别边界

云检测的真正难点从来不是"云"，而是"像云但不是云"和"是云但不像云"的目标。下表梳理了四类典型混淆及其物理成因。

笔者认为，这张表应该贴在每个做遥感预处理的人显示器旁。云掩膜90%的误判都发生在这四类边界上，而Fmask的每一次版本迭代，本质上都是在重新划定这四条边界。

二、Fmask 算法演进史：1.0 到 4.x 的设计哲学

Fmask并非一次性设计完成的算法，而是伴随Landsat数据产品与用户反馈持续演进的工程系统。理解版本差异，比记住某一版参数更有价值。

2.1 Fmask 1.0（2012）：面向Landsat 4–7的阈值组合

Zhu与Woodcock在2012年发表的原始版本，针对Landsat 4/5/7的TM与ETM+传感器设计。核心思路是"多波段阈值级联"：先用蓝光与SWIR构建潜在云检测，再用NDSI排除雪，用温度排除亮地表，最后用几何投影找云影。该版本在Landsat 7 ETM+数据上报告的总体精度约为96%，但这一数字是在特定验证集上取得，跨区域泛化能力有限。

本文评述：1.0版本最大的贡献不是精度，而是把云检测从"单波段阈值"推进到"多波段物理约束"的范式。它证明了在缺乏训练样本的年代，基于辐射传输常识的规则系统同样可以做到工程可用。

2.2 Fmask 2.0–3.0（2015–2017）：拥抱Landsat 8与面向对象

Landsat 8 OLI的波段设置发生显著变化：新增Band 1（海岸/气溶胶，0.43–0.45 μm）与Band 9（卷云，1.36–1.38 μm），Band 6改为SWIR1（1.57–1.65 μm），Band 7为SWIR2（2.11–2.29 μm）。Fmask 2.0据此重构了阈值体系，并引入面向对象思想：先做初步云检测，再对云斑块做形态学处理与连通域分析，剔除孤立小斑块、填补内部空洞。

3.0版本进一步优化了云影检测的几何模型，引入DEM辅助估算云高，使投影距离更准确。这一阶段的关键词是"鲁棒性"——算法开始考虑不同季节、不同纬度、不同地表覆盖下的稳定性。

2.3 Fmask 4.x（2019至今）：多传感器统一框架

4.0版本是Fmask走向"平台化"的转折点。它不再只服务Landsat，而是构建了可适配Sentinel-2、Landsat 8/9、甚至部分国产卫星的统一框架。核心改进包括：

• 动态阈值：不再使用固定数值，而是基于影像自身的辐射统计（如直方图分位数）自适应确定阈值，显著提升跨场景适应性。
• 概率化输出：从二值掩膜升级为云概率图层，允许用户按应用需求调整置信度。
• 多时相辅助：在时序数据充足时，利用时间维度上的反射率突变辅助判别，降低单景误判。
• 云影几何精细化：结合太阳天顶角、方位角与云顶高度估计，投影搜索窗口更精准。

笔者认为：Fmask 4.x最被低估的改进是"动态阈值"。固定阈值在单一区域调优容易，但遥感应用天然跨区域、跨季节。动态阈值把"调参"这件事从用户手里收回算法内部，这才是它能在GEE等平台上大规模铺开的原因。

2.4 版本对比一览

三、核心判别逻辑拆解：云、云影、雪、亮地表

这一章是全文的技术核心。我们把Fmask的判别流程拆成四个可独立验证的模块，每个模块给出物理依据、典型阈值范围与失效条件。

3.1 潜在云检测：多波段联合

Fmask首先构建"潜在云"图层，典型判据包括：蓝光波段反射率高于某分位数、NDSI低于阈值（排除雪）、亮度温度高于某阈值（排除冷地表）。以Landsat 8为例，一个常见的潜在云判据组合是：Band 2 > 0.2 且 NDSI < 0.8 且 Band 10亮温 > 300 K（具体数值随版本与区域调整）。

这里必须强调：这些数值不是普适真理。在干旱区，裸地蓝光反射率可能超过0.2；在高原，地表温度可能低于300 K。因此4.x版本改用影像自身分位数（如蓝光波段的90%分位）作为动态基准，这是工程上更稳健的做法。

3.2 卷云检测：1.38 μm 通道的妙用

Landsat 8 Band 9与Sentinel-2 Band 10位于1.38 μm水汽吸收带。由于对流层低层水汽的强吸收，该波段地表信号几乎为零，传感器接收到的辐射主要来自高层云（卷云）。因此，Band 9反射率超过某阈值（如0.02–0.03）即可判定卷云存在。

本文评述：1.38 μm通道是Fmask最"优雅"的设计。它用一个物理上几乎"屏蔽地表"的波段，把卷云检测从复杂的模式识别简化为单波段阈值。这种"用物理换算法复杂度"的思路，值得所有遥感算法设计者学习。但要注意，该通道在极干燥的高原地区可能因地表信号泄漏而产生误判，需结合其他波段交叉验证。

3.3 云影检测：几何投影的工程实现

云影检测分三步：

1. 云斑块提取：从云检测结果中提取云连通域，计算每个斑块的质心与边界。
2. 几何投影：根据太阳天顶角θ、太阳方位角φ与云顶高度h，计算云影相对云的水平偏移量。偏移距离d ≈ h × tan(θ)，方向与太阳方位角相反。
3. 暗像元匹配：在投影区域附近搜索反射率低于邻域均值的像元，结合NDVI、NDWI等指数排除水体与深色植被。

云顶高度h是最大不确定源。Fmask 4.x允许用户输入固定云高（如默认2 km），或结合DEM与温度反演估算。在缺乏云高信息时，投影误差可能达到数百米，导致云影漏检或误检。

3.4 雪与亮地表的排除

雪的NDSI（归一化雪指数，NDSI = (Green − SWIR1)/(Green + SWIR1)）通常大于0.4，而云在SWIR1的反射率相对Green更高，NDSI偏低。因此NDSI是区分雪与云的有效指标。亮地表（沙漠、盐湖、裸岩）则通过SWIR反射率与亮温联合过滤：云在SWIR通常较暗且温度较低，而亮地表在SWIR同样高反射且温度接近地表实际温度。

四、工程实操：Python 与 GEE 两条落地路径

理论讲完，进入可执行环节。这一章给出两条主流路径：本地Python处理与Google Earth Engine云端处理。两条路径各有适用场景，笔者建议按数据量选择。

4.1 路径一：本地 Python + FMask 库

Python生态中最成熟的实现是fmask库（由GERS Lab维护），支持Landsat 4–9与Sentinel-2。基本流程如下：

# 示例：Landsat 8 单景云掩膜（模拟代码，参数需按实际数据调整）
import fmask
from fmask import fmaskconfig, fmask

# 1. 准备输入：Landsat 8 Level-1 或 Level-2 数据
# 需提供 MTL 元数据文件与各波段 GeoTIFF
config = fmaskconfig.FmaskConfig(
    sensor="LANDSAT_8",
    scene_meta="LC08_L1TP_123032_20230715_MTL.txt",
    output_dir="./output"
)

# 2. 运行 Fmask
# 内部自动完成：辐射定标→潜在云检测→卷云检测→云影投影→形态学后处理
fmask.main(config)

# 3. 输出：云掩膜（0=清晰, 1=云, 2=云影, 3=雪, 4=水体）
# 可直接用于后续时序合成或分类

关键注意事项：

• 输入数据级别：Fmask对Level-1 TOA反射率与Level-2地表反射率均可处理，但阈值体系不同。使用Level-2时需确认库版本是否支持。
• 云高参数：默认云高2 km，山区或高纬度地区建议根据DEM调整。
• 输出编码：不同版本输出编码可能不同，务必查阅对应版本文档，避免把"雪"当成"云"剔除。

4.2 路径二：Google Earth Engine 云端处理

GEE内置了Landsat与Sentinel-2的Fmask结果（如QA_PIXEL波段），可直接调用，无需本地计算。对于大区域、长时序分析，这是效率最高的路径。

// GEE 示例：基于 QA_PIXEL 生成云掩膜（模拟代码）
var collection = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterDate('2023-01-01', '2023-12-31')
    .filterBounds(geometry);

// QA_PIXEL 位运算：bit 3=云, bit 4=云影
function maskClouds(image) {
  var qa = image.select('QA_PIXEL');
  var cloudBit = 1 << 3;
  var shadowBit = 1 << 4;
  var mask = qa.bitwiseAnd(cloudBit).eq(0)
      .and(qa.bitwiseAnd(shadowBit).eq(0));
  return image.updateMask(mask);
}

var masked = collection.map(maskClouds);
// 后续可做中值合成、时序分析等

本文评述：GEE路径的最大优势是"零运维"，但代价是失去对算法内部参数的完全控制。如果你的应用对云掩膜精度要求极高（如小区域精细分类），本地运行Fmask并调参仍是更优选择。两条路径不是替代关系，而是分工关系。

4.3 完整操作路径清单

五、精度评估：指标、陷阱与验证数据集

云掩膜做完了，怎么知道它好不好？这是最容易被忽视、也最容易出错的一环。

5.1 常用精度指标

云检测本质是二分类（或四分类）问题，常用指标包括总体精度（OA）、Kappa系数、云类召回率（Recall）、精确率（Precision）与F1分数。对于云掩膜，召回率往往比精确率更重要——漏掉一朵云，可能污染整个时序合成结果；多剔除一块清晰像元，只是损失少量数据。

5.2 验证数据集

公开可用的云验证数据集包括：

• Landsat 8 Cloud Validation Dataset（Foga et al., 2017）：包含全球96景Landsat 8影像的人工解译云掩膜，是评估Fmask 2.0–3.0的标准基准。数据预处理包括辐射定标、云/云影/雪/清晰四类标注。
• Sentinel-2 Cloud Mask Catalogue（Francis et al., 2020）：基于Sentinel-2的云掩膜验证集，覆盖多种地表类型。
• Cloud-38 / 95-Cloud（Mohan et al., 2021）：面向深度学习的云检测数据集，含像素级标注，适合训练与评估神经网络模型。
• SPARCS（Hughes & Hayes, 2014）：Landsat 8云验证数据集，侧重不同云类型。

本文评述：这些数据集的标注标准并不完全一致，跨数据集比较精度时需格外谨慎。笔者建议在自己的研究区域内建立小规模人工验证集（50–100个样本点即可），比直接引用文献精度更有说服力。

5.3 常见评估陷阱

陷阱一：类别不平衡。清晰像元通常占80%以上，即使把所有像元判为清晰，总体精度也能到80%。必须报告云类召回率。
陷阱二：边界像元。云边缘的混合像元标注主观性强，不同标注者差异大，评估时应单独讨论。
陷阱三：时空外推。在某一区域调优的阈值，换到另一气候带可能完全失效。评估必须跨区域。

六、典型应用场景与参数调优策略

Fmask不是"设好就忘"的工具，不同应用场景需要不同的调优策略。

6.1 时序合成（如Landsat ARD、中值合成）

时序合成对云掩膜的要求是"宁可错杀，不可放过"。因为合成算法（如中值、最大值合成）对残留云极其敏感，一朵漏检的云可能在合成结果中形成持续伪影。此时应适当降低云检测阈值，提高召回率。

6.2 单景精细分类

单景分类更关注精确率，因为误剔清晰像元会直接减少训练样本与分类面积。此时可提高阈值，或采用概率化输出，只剔除高置信度云像元。

6.3 变化检测

变化检测对云影尤其敏感——云影造成的反射率下降可能被误判为地表变化。建议在变化检测前，对两期影像分别做云掩膜，并检查云影区域是否重叠。

七、前沿趋势：深度学习与 Fmask 的互补格局

近三年，基于深度学习的云检测方法快速崛起。以U-Net、DeepLabv3+、Transformer为代表的语义分割模型，在Cloud-38、95-Cloud等数据集上报告的F1分数普遍超过0.95，部分模型在特定场景下优于Fmask。这是否意味着Fmask将被淘汰？笔者认为答案是否定的，原因有三。

7.1 深度学习的优势与代价

深度学习的优势在于端到端学习复杂纹理与上下文信息，对薄云、碎云的检测能力显著优于阈值方法。但代价同样明显：需要大量标注样本、模型泛化依赖训练数据分布、推理计算成本高、可解释性差。在大规模全球产品生产中，这些代价往往难以承受。

7.2 Fmask 的不可替代性

Fmask的核心竞争力是"透明、稳定、零样本"。它不需要训练数据，参数有明确物理含义，结果可复现，计算成本低。对于全球尺度的Landsat/Sentinel-2预处理，Fmask仍是性价比最高的基线。本文评述：在工程领域，"够用且稳定"往往比"最优但脆弱"更有价值。

7.3 混合架构：未来的主流

笔者认为，未来云检测的主流架构是"Fmask打底 + 深度学习精修"：先用Fmask快速生成初始掩膜，再用轻量级神经网络对边界与薄云区域做精细化修正。这种混合架构兼顾效率与精度，已在部分研究中得到验证。例如，有研究将Fmask结果作为先验输入U-Net，在保持推理速度的同时提升薄云召回率。

前沿预判：随着基础模型（Foundation Model）在遥感领域的渗透，未来可能出现"预训练云检测大模型 + 区域微调"的模式。但Fmask所代表的物理约束思想不会消失，反而会以"物理引导的神经网络"形式重生。纯数据驱动与纯物理规则，终将走向融合。

八、结论与工程建议

回到文章开头的问题：Fmask为什么值得学？因为它不仅是一个算法，更是一套"用物理常识解决工程问题"的方法论。它的每一个阈值背后都有辐射传输依据，每一次版本迭代都在回应真实用户反馈。

给工程实践者的五条建议：

1. 先理解机理，再调参。不要盲目抄阈值，先搞清楚每个波段的物理含义。
2. 按应用选版本。Landsat 8/9优先用4.x，Sentinel-2确认库支持情况。
3. 建立本地验证集。50–100个样本点就能显著提升你对掩膜质量的判断力。
4. 关注云影。云影漏检对时序分析的危害往往大于云本身。
5. 保持开放。深度学习是补充而非替代，混合架构是值得投入的方向。

云检测没有银弹。Fmask不是最完美的方案，但它是当前最透明、最稳定、最容易复现的方案之一。在遥感数据量爆炸式增长的今天，这种"工程可靠性"本身就是一种稀缺价值。

主要参考文献