本文内容来源于《测绘通报》2022年第3期，审图号：GS（2022）1286号
基于注意力密集连接金字塔网络的新增建设用地变化检测
潘建平1, 李鑫1, 孙博文1, 胡勇2, 李明明1
1. 重庆交通大学土木工程学院, 重庆 400074;
2. 重庆市规划和自然资源调查监测院, 重庆 401123
基金项目：国家自然科学基金(41801394);重庆市规划与自然资源局科技项目(KJ-2020010)
关键词：注意力机制;密集连接金字塔;编码解码;新增建设用地;变化检测
引文格式：潘建平, 李鑫, 孙博文, 等. 基于注意力密集连接金字塔网络的新增建设用地变化检测[J]. 测绘通报, 2022(3): 41-46,59.DOI: 10.13474/j.cnki.11-2246.2022.0075.
摘要
摘要：城市新增建设用地变化迅速频繁、场景复杂等因素导致变化检测结果出现欠分割或过分割等问题,基于此本文提出了一种融合注意力机制的密集连接金字塔网络用于城市新增建设用地变化检测。在编码阶段运用卷积注意力模型提升对变化信息的关注度,突出重要特征;采用密集连接空洞卷积空间金字塔池化模块实现多尺度特征的提取与融合,提高特征的利用率与传播效率;在解码阶段通过对提取的特征图进行上采样还原图像的空间尺度特征。试验结果表明,该方法有效改善了欠分割与过分割问题,变化检测效果更好。
正文
遥感变化检测作为土地利用和土地覆盖(land use/land cover, LULC)监测的关键技术，其目的是检测出同一区域在不同时期的遥感数据中的变化区域及类型，在城市规划、环境监测、农业调查、灾害评估及土地资源管理等领域具有重要的研究价值[1]。随着对地观测技术的快速发展和遥感大数据时代的来临，全球对地观测数据与日俱增，如何迅速、精确地处理如此庞大的数据成为当前遥感应用研究所面临的一大难题，人工处理不但耗时费力，同时已无法满足当前大数据时代的要求[2]。基于数据驱动的深度学习方法能够无需启发式地从大量遥感图像中全自动、多方面、多尺度的提取抽象特征与高层语义信息，为遥感变化检测研究带来新的发展机遇与挑战[3]。
当前，我国正处于城市化建设的快速发展阶段，城市建设用地是包含建筑物、构筑物、推填土、道路沟渠、植被覆盖及水体等多种地物类型的综合体，其特征是多种地物特征的混合。城市新增建设用地作为城市土地利用与覆盖的重要组成部分，具有变化迅速频繁、场景复杂、监测成本较高的特点，因此对其进行变化检测具有重要的研究价值。文献[4]利用城市建设用地的聚集性特征，提出了顾及空间自相关性的高分辨率遥感影像新增建设用地变化检测方案。文献[5]以遥感监测工程收集的新增建设用地图斑作为训练样本，利用卷积神经网络进行新增建设用地的变化检测试验。文献[6]通过集成学习的方式提取城市新增建设用地区域。然而，目前国内外基于深度学习的新增建设用地变化检测研究仍较缺乏。基于此，本文提出一种融合注意力机制的密集连接特征金字塔网络模型，用于城市新增建设用地的变化检测。
1 原理与方法
1.1 编码解码网络模型
卷积神经网络是一种在图像处理领域被广泛应用的深度学习模型，其结构受到生物大脑中神经元结构的启发，具有参数共享、稀疏交换及恒等特征映射等特点[7]。传统的卷积神经网络由于包含全连接层，要求输入的特征向量维度与其神经元数量一致，因此导致只能输入固定尺寸的图片，从而极大地限制了神经网络的运行效率，增加了模型的训练难度。编码解码网络框架是基于神经网络的通用框架，旨在处理高度结构化的输入和输出信息间的映射关系。而以全卷积神经网络(fully convolutional networks，FCN)[8]为代表的编码解码网络结构将传统神经网络的全连接结构替换为卷积层，从而可以输入任意尺寸的图像进行训练，实现了端到端的像素级图像分类。其中，编码器通过逐级的卷积与下采样操作进行多尺度特征提取，但通常会损失大量的空间细节特征，尤其是空间分辨率降低导致目标边缘信息丢失。而通过解码器进行反卷积(transposed convolution)或上采样(upsampling)操作则可有效地缓解该问题，同时将编码端提取的高层语义特征映射至相同特征通道的解码端，并通过卷积运算还原图像的空间细节信息，最后通过分类器完成每个像素所属地物类别的判定。
1.2 卷积注意力模型
注意力是一种人类重要的感知机制之一，人类的视觉感知系统通常会自主地聚焦于全局视觉信息中某一个重要区域而忽略不重要的信息[9]。在图像分割研究中，注意力机制的实质是一种资源分配机制，通过突出重要的特征并抑制不必要的特征提升图像分割的精度。卷积神经网络处理图像的本质是在空间与通道等多个尺度中进行特征的提取[10]，卷积注意力模型(convolutional block attention module，CBAM)是一种包含通道注意力与空间注意力模块的卷积神经网络注意力模型，其结构如图 1所示。
图 1卷积注意力模型
图 1中，?表示哈达玛积。通过结合通道注意力与空间注意力的方式可在不增加网络参数的情况下有效提升网络的分割性能，它可以针对给定的一个中间特征图对其在空间和通道两个维度分别进行特征压缩并重新生成特征权重图，然后将权重特征图与原特征图相乘对特征进行自适应调整[11]。通道注意力计算方法如下
(1)
式中，S表示Sigmoid函数；Favgc与Fmaxc分别表示对通道特征的平均池化与最大池化；W0∈RC/r×c与W1∈RC/r×c为多层感知器输出的两个共享权重。
通道注意力结构如图 2所示, 首先将输入的特征图经最大池化(maxpooling)和平均池化(avgpooling)层生成两个不同的上下文特征Favgc与Fmaxc；然后将这两个结果同时输入多层感知机(multi-layer perceptron，MLP) 从而生成两个降维后的权重特征图W0与W1；最后将两个特征图相加并通过Sigmoid函数进行激活输出得到通道信息加权特征图。
图 2通道注意力模型
空间注意力模型输入的特征为经过通道注意模型所输出的通道注意力特征图，其计算公式如下
(2
)
式中，f7×7表示进行7×7的卷积；Favgs∈R1×H×W与Fmaxs∈R1×H×W表示对空间特征的平均池化与最大池化操作。
首先空间注意力模型的最大池化和平均池化共同作用于通道维度的输出特征图；然后经过二维卷积块对需要激活或抑制的空间特征进行编码从而得到空间注意力特征图F(x)；最后通过Sigmoid激活函数激活输出空间注意力特征图，其结构如图 3所示。
图 3空间注意力模型
1.3 密集连接空洞卷积空间金字塔池化(Dense ASPP)
传统的卷积神经网络优化方式通常通过增加网络模型的深度或宽度。高分辨率遥感影像包含更加丰富的空间、纹理等特征，常用的优化方法势必将提升特征学习与恒等映射的难度，出现梯度消失问题。而文献[12]提出的残差网络(ResNet)在一定程度上解决了该问题。密集连接网络(DenseNet)正是源于残差思想，其以前馈的方式将每层逐层相连，同时将每层的特征输出结果映射至后续每层作为输入特征，该网络结构不仅缓解了梯度消失问题，还实现了特征的复用，提升了特征的传播效率并大大减少了网络参数[13]。
在图像分割任务中，丰富的空间信息和较大的感受野对分割结果至关重要。然而，遥感场景中地物多尺度、多样性与复杂的空间分布通常会使得在相同场景下的不同地物出现类间可分性降低，类内差异性较大等问题, 这将极大影响图像分割的精度[14]。空洞卷积空间金字塔池化的多尺度特征提取能力可有效缓解这个问题，它可在不损失特征空间分辨率的情况下，运用不同比例的空洞卷积模块进行多尺度特征挖掘[15]，其计算公式如下
(3
)
式中, x[i]表示输入特征；w表示卷积核；k表示卷积核的大小；d表示空洞率。
虽然ASPP结构可进行多尺度特征的提取，但在复杂的场景条件下，多尺度特征并未得到合理高效的应用，不足以充分地挖掘出变化地物的多尺度信息。因此，文献[16]提出了Dense ASPP网络结构，通过结合密集连接结构与ASPP模块实现了多尺度特征的有效传播与利用，在城市街景数据集表现出较高的分割精度，其结构如图 4所示。在Dense ASPP中将各个分支逐级增加空洞率的卷积核以密集连接的方式逐级并行相连，将每个分支的输出特征均作为下个分支的输入特征，各层计算公式如下
(4
)
式中，yl表示每l层的输出特征图。
图 4密集连接卷积结构(Dense ASPP)
1.4 本文方法
本文以编码解码网络为主体结构，在编码阶段通过结合注意力与密集连接空洞卷积空间金字塔池化模块提取特征；在解码阶段进行4次2倍上采样并与编码阶段相对应的特征通道融合后再进行卷积运算，在恢复图像空间细节特征的同时实现了多尺度特征的融合，其特征提取网络结构具体信息见表 1。编码阶段的特征提取网络共分为6个阶段{B0, B1, B2, B3, B4, B5}。其中，B0为注意力机制对输入关注目标进行特征权重的配置；B1至B4分别由2组4个Dense ASPP模块与1个最大池化层组成，各个卷积块间进行密集连接以提升特征的传播效率及利用率，缓解梯度消失问题；B5为一组普通卷积层。
表 1 特征提取网络结构
本文设计的每个Dense ASPP模块中包含3个卷积层，其中conv1为1×1普通卷积；conv2为1/4特征通道数的3×3卷积；conv3为1/4特征通道数的3×3空洞卷积；4个Dense ASPP的空洞率由小到大分别为1、6、12、18，通过将普通卷积与不同空洞率的空洞卷积相结合方式，可更高效地提取多尺度特征，B5为两组1024特征通道的3×3普通卷积。
编码阶段由于经过4次最大池化使得图像尺寸下采样为原始图像的1/16倍，空间分辨率从256×256像素变为16×16像素，因此丢失了大量的空间细节信息。为了恢复图像空间尺度信息，通过4次2倍上采样恢复至原始图像空间分辨率，同时对下采样过程中提取的高级语义特征与上采样获取的空间特征信息进行多尺度融合，从而使获得的特征图包含不同的语义信息与空间特征，以提升图像的分割精度。本文通过Softmax函数激活输出变化检测结果，网络主体结构如图 5所示。
图 5网络主体结构
2 试验与分析
2.1 研究区域与数据集
由于当前没有城市新增建设用地的公开数据集，因此以重庆市茶园地区为试验区域，制作新增建设用地变化检测的数据集。以WorldView-2采集的双时相高分辨率遥感影像为数据源，拍摄日期分别为2010与2011年，空间分辨率为0.5 m，数据集真实变化标签图由人工目视解译勾画所得。受限于计算机显存的限制，以滑动窗口的形式将研究区域影像裁减为256×256像素的小图像进行训练。裁减后共获得1947张图像块，再按7∶2∶1将数据集分为训练集、验证集和测试集，用于网络模型的训练、验证与测试试验。
2.2 试验环境与超参数设置
试验操作环境：操作系统为Windows 10企业版，CPU为Inter(R) Xeon(R) E5-2683处理器，显卡为NVIDIA GeForce RTX 2080Ti，64 GB内存，11 GB显存空间。采用TensorFlow 1.14.0作为深度学习框架。使用Adam作为优化器进行迭代训练，初始学习率α0=0.000 1，损失函数为交叉熵损失函数(categorical crossentropy)，一个批次输入的图像数为8张，训练迭代次数设置为50个批次。
2.3 精度评价
采用准确率(P)、总体精度(OA)、召回率(R)、F1值和Kappa系数等常用的图像分割评价指标评估变化检测效果。准确率表示正确预测的变化像元数与预测的变化像元总数之比；总体精度表示正确预测的像元数与总像元数之比；召回率表示正确预测的变化像元数与实际变化像元总数之比；F1值为准确率与召回率的调和平均值；Kappa系数用于检验变化检测模型预测结果和实际变化检测结果是否具有一致性，这5个评估指标的计算公式如下
(5
)
(6
)
(7
)
(8
)
(9
)
式中，TP表示实际变化像元被预测为变化像元的个数；FP表示实际未变化像元被预测为变化像元的个数；FN表示实际变化像元被预测为未变化像元的个数；TN表示实际未变化像元被预测为未变化像元的个数；po表示预测的准确率；pe表示偶然一致性。
2.4 试验与分析
为了验证所提出网络模型的变化检测效果，将本文与一些经典的语义分割模型FCN、SegNet、U-Net、U-Net++进行了横向对比试验，经过50次迭代训练后，各模型基本达到稳定状态，训练过程的准确率(accuracy)与损失值(loss)在训练集中的变化曲线如图 6所示。本文网络模型相对其他分割模型具有较快的收敛速度与较高的检测精度，模型整体训练过程较为稳定。
图 6模型训练过程
图 7为不同模型在测试集的变化检测结果与真实地物变化结果的对比(黑色表示未变化区域，白色表示变化区域)，FCN网络由于结果不够精细，因此分割结果较为粗糙，分割效果不佳；SegNet检测的变化区域存在欠分割问题，变化区域边界定位不够精细；U-Net++提取的新增建设用地变化区域则出现较为严重的过分割现象，变化区域粘连现象明显；U-Net虽然变化检测效果尚可，但仍然存在较多零散的小碎图斑，存在一定的错分现象，提取的边界残缺、粗糙且不够精细化。本文方法检测的变化图斑结果则明显更加精准，没有出现大片变化区域粘连或残缺不全的问题，错检漏检现象相对较少，精度更高，整体变化检测结果较好。
图 7不同模型试验对比结果
表 2为重庆市新增建设用地变化检测数据集中的定量对比结果，由表 2可知，相对于其他方法，本文方法的准确率(91.87%)、总体精度(93.40%)、F1值(90.19%)、Kappa系数(0.852 2)等4个评估指标均达到最高，由此证明了本文方法相对于其他经典的语义分割网络具有一定的优越性与实用性，能够较准确地定位与识别变化区域，针对城市新增建设用地的变化检测效果更好。
表 2 不同网络模型结果对比
最后，为了验证不同模块对网络整体性能的影响，通过消融试验定性分析了CBAM、Dense与ASPP 3个不同模块的有效性。试验结果见表 3，以经典的语义分割网络U-Net为基础网络，在添加了CBAM后F1与Kappa系数分别提升了1.20%与1.88%;当结合了CBAM与Dense模块后，进一步提升至89.74%与84.55%；在此基础上融合ASPP模块则提升至90.19%与85.22%。试验结果表明，这3种模型均对最终变化检测结果的改善作出了重要的贡献。
表 3 不同模块消融试验结果对比
3 结语
针对遥感变化检测容易出现欠分割与过分割问题，同时为了适应城市新增建设用地在高分辨率遥感影像中呈现的背景复杂、场景多样化、人工目视解译判别较为困难等情况，本文以编码解码网络为基础架构，提出了一种融合卷积注意力的密集连接金字塔网络的城市新增建设用地变化检测的方法。通过在网络特征提取阶段添加通道与空间注意力，使得网络对研究目标地物获得更多特征关注度；将编码阶段的卷积块设计为一种密集连接空洞卷积空间金字塔池化模块，在增强模型的多尺度特征提取能力的同时提高特征的传播效率与利用率，进一步提升了变化检测的精度。试验结果表明，本文方法的总体精度与F1值分别达93.40%与90.19%，相对FCN、SegNet、U-Net、U-Net++等经典语义分割网络有较大的提升，具有更加优异的变化检测结果。然而，由于受限于人工制作数据集样本数量，本文方法的泛化能力有所不足，变化检测精度仍有提升空间。在未来的工作中，将进一步改善网络模型并逐步实现变化检测的小样本弱监督、无监督化，从而降低人工目视解译变化检测数据集的成本，提升实际应用价值。
作者简介
作者简介：潘建平(1976-),男,博士,教授,主要研究方向为摄影测量与遥感。E-mail:6370554@qq.com
通信作者：李鑫。E-mail:1718046862@qq.com
初审：纪银晓
复审：宋启凡
终审：金 君
往期推荐
资讯
○ 《测绘学报（英文版）》被中国科学引文数据库CSCD收录
○ 贵州省第二测绘院2022年公开招聘（地信、测绘遥感等相关专业）
○ 自然资源部国土卫星遥感应用中心正式对外发布卫星激光测高产品
○ 自然资源北京市卫星应用技术中心揭牌
○ 中国地质大学康志忠教授荣获国际摄影测量与遥感学会主席荣誉奖
○ 刚刚！自然资源部印发技术文件，扎实推进新型基础测绘与实景三维中国建设工作
○《测绘学报》青年科学家沙龙（第1辑）报告日程
会议
○ 关于举办《测绘学报》青年科学家沙龙(第1辑)的通知
○ “第二届新型基础测绘高峰论坛”会议日程来啦！
○ 第二届“地理资源青年创新论坛”一号通知
○ Geoinformatics 2022 暨CPGIS成立30周年年会（二号通知）
《测绘学报》
○《测绘学报》同济专刊 | 龚健雅：智能遥感深度学习框架与模型设计
○ 测绘学报 | 曹闻：顾及空间分布与注记相关性的点要素注记配置算法
○ 测绘学报 | 姚翔宇：数字环境下面状要素分级设色的适宜方案分析
○ 测绘学报 | 王昊：GNSS水汽层析的自适应非均匀指数分层方法
《测绘通报》
○ 《测绘通报》2022年第3期目录
○ 《测绘通报》2022年第2期目录
○ 地市级实景三维城市建设及应用
○ 基于GIS的东川区生态环境敏感性分析
《北京测绘》
○《北京测绘》2022年第2期摘要推荐
○《北京测绘》2022年第1期摘要推荐
○《北京测绘》2021年第12期摘要推荐
○《北京测绘》2021年第11期摘要推荐
《测绘科学技术学报》
○ 摘要 |《测绘科学技术学报》2021年第2期摘要推荐
○ 摘要 |《测绘科学技术学报》2021年第4期摘要推荐
○ 摘要 |《测绘科学技术学报》2021年第5期摘要推荐
○ 摘要 |《测绘科学技术学报》2021年第6期摘要推荐
《地球信息科学学报》
○ 《地球信息科学学报》2022年第4期佳文推介
○ 龚健雅院士：全球位置信息叠加协议与位置服务网技术研究进展与展望
○ 专题征稿：地球信息科学技术在旅游休闲领域的应用
○ 专刊征稿：社会感知与地理大数据挖掘（征稿中）
《测绘工程》
○ 摘要 |《测绘工程》2022年第2期摘要推荐
○ 摘要 |《测绘工程》2022年第1期摘要推荐
○ 摘要 |《测绘工程》2021年第6期摘要推荐
○ 佳文推介 | 单目视觉技术在室内定位中的应用研究
《中国空间科学技术》
○《中国空间科学技术》2022年第2期摘要
○《中国空间科学技术》2022年第1期摘要
○《中国空间科学技术》2021年第6期摘要
○《中国空间科学技术》2021年第5期摘要推荐
《卫星应用》
○《卫星应用》2022年第02期摘要
○《卫星应用》2022年第01期摘要
○《卫星应用》2021年第12期摘要
○《卫星应用》2021年第11期摘要
《Journal of Geodesy and Geoinformation Science》
○ 《测绘学报（英文版）》被中国科学引文数据库CSCD收录
○《测绘学报（英文版）》专刊征稿 | 地图学与地球空间信息教育：理论与实践
○ 《测绘学报（英文版）》专刊征稿 | 用于三维地理信息的摄影测量和计算机视觉
○ InSAR专刊 | 《测绘学报（英文版）》（JGGS）2022年第1期发布
○ GFZ德国地球科学研究中心-贺玉芳 | 《测绘学报（英文版）》（JGGS）InSAR专刊
○ 长安大学-朱武教授 | 《测绘学报（英文版）》（JGGS）InSAR专刊
《Satellite Navigation》
○ 杨飞博士：GNSS天顶对流层精化模型的构建与分析| SANA佳文速递
○ 2022征文| SatNav“普适定位、室内导航与基于位置服务”专题
○ 2022征文| SatNav“GNSS地学应用”专题
○ 李昕博士：多频多星座PPP-RTK原理及性能| SANA佳文速递
《自然资源遥感》
○ 摘要 |《自然资源遥感》2022年第1期摘要推荐
○ 《自然资源遥感》征稿：“海岸带空间资源及生态健康遥感监测”专栏
○ 摘要 |《自然资源遥感》2021年第3期摘要推荐
○ 摘要 |《自然资源遥感》2021年第4期摘要推荐
《Journal of Geovisualization and Spatial Analysis》
○《Journal of Geovisualization and Spatial Analysis》入驻“智绘科服”融媒体平台！
○ JGSA国际期刊2021年第5卷第2期论文摘要
○ 高被引论文推荐 | Journal of Geovisualization and Spatial Analysis
○ JGSA论文推荐 | 地理信息科学研究在过去几十年中都在关注什么？
《全球定位系统》
○《全球定位系统》入驻“智绘科服”融媒体平台！
○《全球定位系统》论文推荐 | 刘光明：我国常用地心坐标系的现状与发展
○《全球定位系统》2022年第1期目次
○《全球定位系统》2022年“卫星导航与增强”专栏征文
《导航定位与授时》
○《导航定位与授时》入驻“智绘科服”融媒体平台！
