研究目的
提出一种基于对象的深度学习新框架,用于超高分辨率卫星数据的语义分割,通过将基于对象的先验知识整合到全卷积神经网络中,强制属于同一对象的像素被分类为相同的语义类别,并将该框架与当前最先进的卷积和全卷积网络进行比较。
研究成果
该基于对象的深度学习框架通过整合AML简化技术与对象化损失函数,在准确率与单类性能上均优于当前最先进的基于图像块和像素的网络方法。其生成的分割结果更为紧凑且噪声更少,能更好地保留对象形状、几何结构与边界特征。该框架具有通用性,可与各类全卷积神经网络集成,在超高分辨率遥感数据语义分割领域展现出巨大潜力。未来工作包括实现损失权重的自动化设置及多尺度简化技术的整合。
研究不足
基于对象的方法假设超像素内的所有像素应共享相同的语义标签,但若超像素过大且包含多个类别,则该假设可能不成立。该方法依赖于超像素生成的质量,且额外的损失项会增加计算训练时间。尺度空间问题和损失权重的自动化是未来优化的方向。
1:实验设计与方法选择:
本研究设计了一个基于对象的深度学习框架,将各向异性扩散预处理和额外的基于对象的损失项整合到全卷积神经网络(F-CNN)中。该框架与基于图像块的CNN(ConvNet、AlexNet、VGG-16)和基于像素的F-CNN(SegNet、U-Net、FCN-16)进行了比较。基于对象的损失函数(L2)对同一超像素内不共享主要语义标签的像素进行惩罚,并结合标准交叉熵损失(L1)进行优化。
2:样本选择与数据来源:
实验使用了公开的ISPRS WGII/4基准数据集(Vaihingen和Potsdam)。Vaihingen包含33幅图像(3个通道:红外、红、绿;地面采样距离9厘米),其中16个训练图块分为14个用于训练,2个用于验证。Potsdam包含38幅图像(4个通道:红、绿、蓝、红外;地面采样距离5厘米),其中24个训练图块分为17个用于训练,7个用于验证。类别包括不透水表面、建筑物、低植被、树木、汽车和杂乱物。
3:实验设备与材料清单:
使用GeForce GTX 1080 GPU进行训练。软件包括PyTorch深度学习框架。超像素通过各向异性形态学水平化(AML)结合Quickshift分割算法生成,并与SLIC超像素进行比较。
4:实验流程与操作步骤:
对于基于图像块的架构,随机提取29×29的图像块(每类1%)。对于基于像素的架构,提取256×256的图像块并采用重叠步长(Vaihingen为64,Potsdam为128)。应用数据归一化。训练使用随机梯度下降法并采用早停策略(耐心值为10个周期)。基于对象的框架(OB_Snet、OB_Unet、OB_FCN)使用与基于像素的对应框架相同的超参数进行训练,并为基于对象的损失添加一个权重(w1),该权重通过网格搜索确定。
5:数据分析方法:
评估指标包括总体精度、精确率、召回率、F1分数、交并比(IoU)和豪斯多夫距离(HD)。使用混淆矩阵和定性视觉评估来比较不同方法的结果。
独家科研数据包,助您复现前沿成果,加速创新突破
获取完整内容-
GPU
GeForce GTX 1080
NVIDIA
Used for training deep learning models, providing computational power for neural network optimization and inference.
-
Deep Learning Framework
PyTorch
PyTorch
Used for implementing and training all deep learning architectures, including patch-based CNNs, pixel-based F-CNNs, and object-based frameworks.
暂无现货
预约到货通知
-
Superpixel Algorithm
SLIC
SLIC
Used for generating superpixels as a comparison method to the proposed AML-QS approach, for object-based image analysis.
暂无现货
预约到货通知
-
Superpixel Algorithm
Quickshift
Quickshift
Used in combination with Anisotropic Morphological Levelings (AMLs) to generate objects/superpixels for the proposed object-based framework.
暂无现货
预约到货通知
-
Anisotropic Morphological Levelings
AML
AML
Used for anisotropic diffusion data preprocessing to simplify optical multispectral data while preserving image contours and object boundaries, integrated with Quickshift for superpixel generation in the proposed framework.
暂无现货
预约到货通知
-
登录查看剩余3件设备及参数对照表
查看全部