【论文】STReF-NDVI: A spatio-temporal SAR-optical fusion framework for NDVI time series reconstruction under persistent cloud cover

STReF-NDVI：面向持续云覆盖条件下NDVI时间序列重建的时空SAR–光学融合框架

参考文献：

P. Jia, Q. Zhu, Z. Zheng, H. Z. M. Shafri, A. R. M. Shariff, Q. Guan, “STReF-NDVI: A spatio-temporal SAR-optical fusion framework for NDVI time series reconstruction under persistent cloud cover”, Information Fusion, vol.138, 104760, pp.1566-2535, 2027, https://doi.org/10.1016/j.inffus.2026.104760.

作者简介

贾鹏飞，博士研究生，中国地质大学（武汉）地理与信息工程学院，研究方向包括多源遥感融合、时空序列重建和空间可解释性分析。

朱祺琪（通讯作者），博士，教授，博导，中国地质大学（武汉）地理与信息工程学院。研究方向包括深度学习与遥感图像理解、遥感图像智能理解与高性能空间计算。

关庆锋，博士，教授，博导，中国地质大学（武汉）地理与信息工程学院。研究方向包括时空大数据、空间计算智能和高性能空间计算。

摘要

在易受云覆盖影响的环境中重建连续的10米分辨率NDVI时间序列对于可靠的植被监测至关重要。然而，湿润的热带季风条件通常会产生长达数周、不规则的长缺口，从而扭曲光学观测并破坏时间连续性。尽管近期在光学缺口填补和SAR-光学融合方面取得的进展已部分缓解了这一挑战，但由于固定的SAR特征设置、在异质景观中空间细节保留有限，以及在稀疏监督下时间对齐不稳定，恢复高保真度的NDVI仍然十分困难。为了解决这些问题，本研究提出了STReF-NDVI，这是一个时空重建框架，将持续云覆盖下的NDVI恢复视为一项SAR驱动的推理任务，并采用抗噪声监督策略来减少残余云、阴影和水体的污染。该框架包含一个可重复的SAR特征子集选择程序，该程序在训练期间系统地评估候选输入，从而能够识别出紧凑、互补的特征集，而无需依赖于任意的特征组合或土地覆盖先验信息。与五个最先进的基线方法进行的实验结果表明，该框架在不同年份设置下均表现出优越的性能，R⟡最高可达0.894，RMSE 低至0.059。与最强的基线方法相比，所提出的框架R⟡上实现了6-8%的提升，并将 RMSE 降低了30-40%。消融研究进一步验证了所提出的时空设计在保持时间连续性和空间一致性方面的有效性，表明STReF-NDVI为持续云覆盖地区的植被监测提供了一种稳健的解决方案。

引言

全球气候变化和人类活动正深刻改变陆地生态系统。植被作为响应最敏感的组成部分，不仅反映环境变化，更调节着碳、水和能量循环。因此，长期连续监测植被动态具有重要意义。然而在热带区域，受复杂气候变化和持续云覆盖影响，实现连续植被观测面临巨大挑战。

自1979年NDVI被提出以来，它已成为生态监测的核心指标。Sentinel-2凭借10 m高分辨率和较短重访周期，为高精度NDVI时间序列提供了重要数据源。但光学遥感易受云和云影干扰，在湿润热带季风区，Sentinel-2有效观测常出现持续数周甚至数月的不规则缺失。尽管其理论上具备5天重访周期，但有效的实地观测仍难以保证。因此，在光学监督稀疏甚至受污染的情况下，如何恢复兼具合理时间趋势与精细空间结构的NDVI序列，是当前亟待解决的关键问题。

现有NDVI重建方法（如插值拟合、机器学习及SAR–光学融合等）在光学观测充足时能有效改善时间连续性。但面对长期、不规则缺测及高度异质的地表结构时，模型性能明显下降。这主要是因为光学监督变得稀疏且不稳定，模型难以在时间约束减弱的情况下维持空间结构。

从信息融合角度看，持续云覆盖下的NDVI重建本质上是一个受缺失和污染观测影响的信息恢复问题。SAR数据虽能提供全天候结构信息，但现有SAR-光学融合仍面临三个关键问题：

（1）长期缺测下时序一致性难以保证。 长期缺测叠加植被快速变化，会削弱SAR与光学的时序对应关系，导致模型出现时间漂移和过度平滑现象。

（2）固定SAR特征配置限制模型适应能力。 不同环境条件下，SAR特征与植被光谱的关系差异巨大。固定特征组合易引入冗余或忽略关键结构，限制模型精度与跨区域迁移能力。

（3）复杂地表环境下空间细节和边界难以保持。 现有研究多在相对均一的区域验证。而在高度异质的热带混合像元场景下，局部纹理与边界极易丢失，导致重建结果空间模糊。

以马来西亚雪兰莪地区为例（图1a），多年Sentinel-2统计表明，该地区月尺度云覆盖比例长期极高，有效光学监督严重不足。如图1b所示，现有方法在高云覆盖下，难以同时恢复NDVI的空间纹理与边界细节。因此，亟需建立一种能适应复杂环境、充分利用SAR全天候信息并保持时空一致性的重建方法。

针对上述问题，本文提出了时空SAR–光学融合框架——STReF-NDVI。该框架将NDVI恢复建模为SAR驱动的信息重建任务：SAR提供连续结构信息，Sentinel-2提供稀疏但可靠的光学监督，同时结合云、水体和降雨信息，提高跨模态学习的可靠性。

本文主要贡献如下：

1）提出时空SAR-光学融合框架STReF-NDVI。 融合局部空间特征提取、时间序列建模及全局时空关系学习，在长期光学缺失下，同时保持NDVI的时间连续性与空间细节，提升复杂异质景观中的重建能力。

2）提出抗噪声的多级监督构建策略。 结合SAR-光学时间匹配、云水筛选、降雨约束及质量权重损失函数，有效降低残余云污染与异常观测的影响，提高稀疏光学监督的可靠性。

3）提出系统化SAR特征子集评价方法。 打破传统固定特征组合的依赖，在统一训练和验证流程下，系统评价并寻找更紧凑、互补的SAR特征子集，实现输入配置的自适应优化。

研究数据

为了在持续云覆盖条件下评估框架的有效性，本研究构建了一个多源、时空对齐的 SAR-光学数据集。该数据集整合了 Sentinel-1 SAR、Sentinel-2 多光谱影像和 CHIRPS 日降雨三类数据源，全部统一至 10 m 网格，覆盖 2020 年（La Niña 年） 和 2024 年（正常年） 两个完整年份。

研究区：双重对比试验。研究区选在马来西亚雪兰莪州，包含两个代表性子区域：Hulu Selangor（内陆） 和 Kuala Selangor（沿海）。两地均呈现高度破碎化的景观（涵盖林地、耕地、建设用地、水体、红树林等），但沿海区域受季风云雨影响更重。这一设计（两区域 × 两气候年份），使框架在异质景观保真和持续云雨干扰两个维度上同时接受检验。

时间配对与样本构建

1. SAR锚点的雷达-光学时间配对
为构建时间一致的 SAR-光学样本，本研究采用了以SAR为中心（SAR-centric）的时间配对策略：

锚点确立：先对 Sentinel-1 观测进行 CHIRPS 降雨筛选（同日降雨 < 10 mm），将保留下来的有效观测作为时间锚点。

时间窗口搜索：以锚点为中心，在对称 ±7 天的窗口内寻找最近的 Sentinel-2 NDVI 影像。

择优规则：若前后存在时间距离相同的合格观测，优先选择场景云量更低的一幅（光学观测需满足场景级云量 ≤ 80%）。

从配对结果看，尽管两年的云情差异明显，但配对率依然稳定保持在 74% 以上（2024内陆 83.3%，2020沿海 74.2%），证明了该策略在不同云覆盖条件下均能稳定完成跨模态匹配。

 2. 样本质量控制与保物候去噪
在时间配对之后，训练样本需通过严格的质控流程以保证观测质量：

复合质量掩膜：整合基于 SCL 的云和水层与多光谱阴影规则，并应用 3 像元形态学膨胀扩展阴影边界。

时间支撑约束：仅当一年内至少有 12 个有效观测时，像元才被保留，以确保季节覆盖并减少缺失数据偏差。

去噪流程：NDVI 轨迹采用保物候去噪精炼，HANTS 拟合季节分量去除粗差，Whittaker 平滑提高时间连贯性，三点差分规则消除突降-突升尖峰。

3. 时空对齐张量构建
经全局 min-max 归一化后，最终数据集被组织为两个时空对齐的分量：

输入（5通道SAR特征张量）：VH、RVI、VV_div、VV_diff、log_ratio。

标签（3通道张量）：归一化 NDVI、云掩膜、水体掩膜。

研究方法

如图所示，STReF-NDVI 框架由四个核心模块协同工作，在长期光学缺失条件下兼顾 NDVI 的时序连续性与空间细节。

A. 局部纹理编码器 (Local Texture Encoder)

设计目的：在高度异质的景观中，极力保留地物的边缘和边界细节。

工作机制：将输入的单时相 SAR 特征 patch 视为图像，通过堆叠两层 2D 卷积与 ReLU 激活提取局部空间特征。随后，利用全局平均池化将其压缩为固定长度的局部纹理描述符，并与骨干时序网络的输入进行拼接，为后续序列模块提供精细的纹理先验。

B.邻域图模型器 (Neighborhood Graph Modeler)

设计目的：在光学数据出现不规则缺失（gap）时，维持局部时间的连续性。

工作机制：将 SAR 序列表征为有向时序链图，并在图上执行两层图卷积（GCN）。通过图结构的消息传播，该模块有效扩大了时间感受野，使模型能够在相邻时步之间进行结构感知的平滑，缓解缺失带来的突变。

C. 时序记忆单元 (Temporal Memory Unit)

设计目的：捕捉图传播后依然存在的长程时间依赖。

工作机制：采用三层堆叠的双向 LSTM（Bi-LSTM）编码器，分别从前向和后向学习序列的隐藏状态。两个方向的隐藏特征拼接后，形成具备全局时间视角的序列表示，并送入下一个聚合器。

D. 全局时空聚合器 (Global Spatio-Temporal Aggregator)

设计目的：强化长距离和基于内容的依赖关系，实现全局信息聚合。

工作机制：引入 Transformer的注意力机制。通过多头自注意力（Multi-head Attention）计算全序列的 Query、Key 和 Value，并加入时间位置嵌入。特别地，在训练时通过二值掩膜（Mask）忽略无有效光学监督的时步。经过残差连接与 LayerNorm 处理后，输出上下文增强表示，最终通过线性回归头完成 NDVI 重建。

实验结果

为评估 STReF-NDVI 的重建性能，本文在 2024年（正常年） 和 2020年（La Niña年） 两个数据集上，与 CNN-RNN、TTSM、BRIOS、SenRVM、MCNN-Seq 五个SOAT基线方法进行了对比。所有方法均使用相同的预处理数据、时间对、训练验证划分及云水评估掩膜，确保公平的比较。

1.总体性能：正常年与极端气候双端验证

在 2024 年 Hulu Selangor（内陆）数据上，框架自动选择的 SAR 子集为VH， 。如图5所示，重建结果紧密集中在 1:1 线附近，整体误差最小。图7的残差分布进一步印证了这一点，STReF-NDVI 呈现最窄且近零中心的分布（μ=0.011,σ=0.072），表明正常年下的偏差与离散度极小。

在 2020 年 Kuala Selangor（沿海）La Niña 极端气候数据集上，模型架构与训练协议保持不变（SAR子集依然自动选为VH，）。图6显示，STReF-NDVI 在该气候下依然取得最高精度： R⟡ = 0.860，RMSE = 0.059，MAE = 0.041，密度分布紧贴 1:1 线。这表明框架能在不改变整体设计的情况下，自适应不同环境与极端天气。

2. 场景级精度：克服云雨扰动的稳定性

在 2024 年全部 25 景影像的场景级精度统计中（表1），STReF-NDVI 在绝大多数日期均取得最佳表现。其 R⟡ 通常≥0.880（最高达 0.913），RMSE 稳定在0.062–0.078之间。即使在面临严重云雨缺失的挑战日期，也保持了高度稳定的精度。

3. 空间细节对比：复杂异质景观中的边界保真

为了考察极端条件下的空间还原能力，我们选取了两个特定日期进行单日空间对比：

2024年5月24日（降雨与云扰动加剧）：在图8的四个子区域（林地/建设用地、湖滨、封闭冠层森林、混合镶嵌）中，STReF-NDVI 均保持了锐利的地物边界，残差高度集中（μ=0.015,σ=0.063）。

2020年3月14日（La Niña年）：在图9中，其残差更为紧密地集中在零附近（μ=0.008,σ=0.057），证明了模型在极端气候下同样具备强大的空间细节保持能力。

综合图5-图9，STReF-NDVI 在正常年和 La Niña 年、全年和单日期、整体统计和空间细节层面均表现出一致的重建优势。

讨论和结论

1. 模块消融：验证内部机制的不可或缺性

为量化 STReF-NDVI 各结构单元的贡献，我们在 2024 年 Hulu Selangor 数据上进行了严格的消融实验。所有设置共享相同的训练数据与优化调度，仅改变网络结构。

如图10所示，完整模型在训练中始终保持最优，验证集R⟡达到 0.945。移除不同模块的性能降幅，清晰揭示了各模块并非孤立运作，而是以高度互补的方式协同工作。这种跨尺度时空信息的协同，造就了完整模型的最优表现。

2. 真实场景检验：摆脱地类先验的同口径时序验证

（1）复杂样方的“端到端”空间重建

为验证模型在真实复杂地表的泛化能力，我们选取了一块 1024×1024 像元的异质样方（植被、耕地、水体与建设用地高度交错）进行测试。

在不依赖任何地表分类（LULC）先验信息的前提下，模型直接作用于重度云污染的 Sentinel-2 原始影像（图11b）。重建结果（图11d）显示，即便在高度交错的混合场景中，模型依然在统一框架下准确恢复了 NDVI 的空间格局与纹理细节。这证实了本方法真正实现了端到端处理，突破了传统分步式重建流程对地类先验的固有依赖。

（2）时空“同口径”下的时间保真度

空间画得像不够，时间对得准才行。由于不同月份云量不同，直接计算全图均值会引入空间差异误差。为此，本研究设计了“公平比较口径”。

对每一个配对时相，我们严格提取“无云、无云阴影”的共同有效植被像元集合，在同一空间掩膜内对比真实观测与重建均值。时序曲线清晰表明，重建值（蓝色虚线）与真实观测值（橙色散点）在整体物候趋势和局部剧烈波动上均高度吻合。这一检验证明，模型在填补缺失的同时，精准复现了真实的植被生长动态，未引入显著的时序平滑失真。

总结与展望

本文提出了一种面向持续云覆盖条件的时空 SAR-光学融合框架 STReF-NDVI，用于 NDVI 时间序列重建。在该框架中，局部纹理编码器从 SAR 特征 patch 中提取精细空间线索，邻域图模型在相邻时步间传播信息，双向 LSTM 维持序列连续性，全局时空聚合器整合长程上下文，四者协同工作，在长期光学缺失条件下同时保持 NDVI 的时间连续性和空间细节。此外，抗噪声多级监督策略结合 SAR-光学时间配对、云水筛选、降雨约束和质量感知损失加权，提高了稀疏光学监督下跨模态对齐的可靠性。基于 Sentinel-1、Sentinel-2 和 CHIRPS 构建的时空对齐数据集，以及 2024 年（正常年）和 2020 年（La Niña 年）两个年份的对比实验表明，STReF-NDVI 在重建精度和稳定性上均优于现有方法。在未来的工作中，我们将重点提升框架的计算效率，并探索引入辅助先验和物理约束，以进一步增强其在不同环境条件下的鲁棒性和迁移能力。