近日，信息工程学院梁苗苗副教授课题组在国际权威期刊International Journal of Applied Earth Observation and Geoinformation上发表题为“An efficient Transformer with neighborhood contrastive tokenization for hyperspectral images classification”的学术论文。论文链接：https://www.sciencedirect.com/science/article/pii/S1569843224003339#GS1

遥感技术的进步使得高光谱成像的光谱宽度和分辨率显著提升，为精细地物识别提供了丰富线索，因此，在环境监测与地质勘探等方面备受关注。然而，由于传感器设备和采样环境引入的噪声干扰以及地物目标的细微光谱差异，光谱特征表现出复杂的类间相似性和类内多样性，这为目标的上下文语义感知提出挑战。为了高效利用空谱细节信息，精确的HSI语义表示学习在遥感中至关重要。

人的视觉可以快速聚焦于感兴趣区域识别目标，因此图像感知模型中引入注意力机制成为模拟人的视觉的关键技术。Transformer能够通过全局自注意感知来捕捉数据的长程依赖关系，使其逐渐成为继卷积网络模型之后，计算机视觉中的又一主流模型。视觉Transformer的成功在很大程度上依赖于自注意力机制，而自注意力需要适当的图像词元化支持。高光谱图像受噪声干扰和光谱不确定性影响，使得低效的词元化操作容易导致注意力模式不稳定和过拟合。因此，梁苗苗课题组提出邻域对比词元化任务（NeiCoT），用于学习紧凑且对上下文语义敏感的词元，以实现高效的Transformer编码。该方法在编码器起始的词元嵌入层引入预测器，用以最大化局部词元与全局平均锚点之间的互信息，鼓励相邻词元在特征学习中的相关性和参与度。同时，引入基于邻域加权的词元级对比损失，以增强词元的上下文语义和实例判别性。最后，提出适用于HSI的MAE框架实现高光谱图像表征预训练，并在监督Transformer骨干网络上验证了NeiCoT模块的有效性。结果表明，NeiCoT显著增强了Transformer的鲁棒性和泛化性，即使在有限的训练样本下，也能实现准确的目标识别和边界定位。

图1NeiCoT-M模型示意图

图2部分成果展示

《International Journal of Applied Earth Observation and Geoinformation》是遥感领域具有重要影响力的国际高质量期刊，是中科院一区Top期刊，2024年最新影响因子为7.6。该期刊覆盖了地球与行星科学、环境遥感、计算机与地球科学等领域。

该论文得到了国家自然科学基金项目和江西省自然科学基金项目资助。信息工程学院梁苗苗副教授课题组长期从事人工智能领域的教学与科研工作，包括模式识别、计算机视觉、机器学习、遥感影像处理等。近年来在IEEE Transactions on Geoscience and Remote Sensing (TGRS)、International Journal of Applied Earth Observation and Geoinformation (JAG)、IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS)、IEEE Geoscience and Remote Sensing Letters (GRSL)、Remote sensing等国际国内权威学术期刊，以第一作者、通信作者或合作发表论文20余篇。现担任IEEE TNNLS、IEEE TGRS、JAG、IEEE TCI、Neurocomputing、Remote sensing等学术期刊审稿人。