双LSTM驱动的高分遥感影像地物目标空间关系语义描述     

陈杰  戴欣宜  周兴  孙庚  邓敏 《遥感学报》2021,25(5):1085-1094

高分辨率遥感影像中的地物目标具有清晰的类别属性与空间关系语义。在人工智能技术支撑下,用计算机自动认知其空间关系具备了可行性。目前,遥感影像场景的语义理解主要依托图像描述任务(image caption),基于影像的全局特征生成描述语句。但是,这种粗粒度特征容易导致地物目标的类别属性在描述语句生成过程中被错误预测。事实上,以地物目标作为空间关系语义理解的基本单元,更符合人们认知地理空间的习惯。为得到更准确的描述语句,本文构建了基于地物目标的遥感影像语义理解数据集,并提出双LSTM驱动的地物目标空间关系语义理解方法。该方法用目标检测模型识别影像中的显著目标,将这些目标特征输入到语言模型,以缓解描述语句中类别被错误预测的问题。进而,为利用遥感影像场景信息,将影像全局特征与目标区域特征进行融合,并用双LSTM预测目标的注意力分布,提高描述语句生成质量。对比实验结果表明,该方法能生成更准确的图像描述。  相似文献   

基于语句模板的遥感影像地物空间关系语义理解     

周兴  孙庚  戴欣怡  陈杰 《测绘工程》2021,30(6):27-33,39

空间关系作为连接地物目标的纽带,是遥感影像语义理解的重要内容.基于编码-解码模型的图像字幕网络能使用自然语言对目标间的空间关系进行表达,但其结构复杂,且需要为训练RNN提供大量语料样本,生成的空间关系描述语句准确率不高.因此,文中提出基于语句模板的遥感影像地物空间关系语义理解方法,该方法的模型结构简单,不需要大量语料样本进行训练,且能生成合理的空间关系描述语句.实验结果表明,该方法生成的描述语句相比编码-解码模型,定量评价的分数相近,定性评价的准确率高约30％,且该方法泛化性能较好,能应用于不同领域的遥感影像中,为遥感影像添加语义信息.  相似文献