cnn和三维gabor滤波器的高光谱图像分类

第32卷第1期计算机辅助设计与图形学学报Vol.32No.1 2020年1月Journal of Computer-Aided Design & Computer Graphics Jan. 2020 CNN和三维Gabor滤波器的高光谱图像分类
魏祥坡, 余旭初, 谭熊, 刘冰, 职露
(信息工程大学郑州450001)
(135********@)
摘要: 卷积神经网络(CNN)具有强大的特征提取能力, 能够有效地提高高光谱图像的分类精度. 然而CNN模型训练需要大量的训练样本参与, 以防止过拟合, Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息, 能够减轻CNN模型对训练样本的依赖度及特征提取的压力. 为了充分利用CNN和Gabor滤波器的优势, 提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN. 首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据, 提取图像的深层空间特征; 同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据, 进一步提取图像的深层光谱-纹理特征. 连接2个CNN模型的全连接层实现特征融合, 并将融合特征输入到分类层中完成分类. 实验结果表明, 该方法能够有效地提高分类精度, 在Indian Pines, Pavia University和Kennedy Space Center 3组数据上分别达到98.95%, 99.56%和99.67%.
关键词: 高光谱图像分类; 卷积神经网络; 深度学习; 三维Gabor滤波器
中图法分类号: TP751 DOI: 10.3724/SP.J.1089.2020.17430
Convolutional Neural Networks and 3D Gabor Filtering for Hyperspectral
Image Classification
Wei Xiangpo, Yu Xuchu, Tan Xiong, Liu Bing, and Zhi Lu
(Information Engineering University, Zhengzhou 450001)
Abstract: Convolutional neural network (CNN) has a powerful feature extraction capability, which can ef-fectively improve the classification accuracy of hyperspectral image. However, a number of training samples are required for training CNN models to avoid overfitting. Gabor filtering can extract spatial information in-cluding edges and textures in unsupervised manner, which can reduce the reliance on training samples and the feature extraction burden of CNN. Aiming to take full advantage of CNN and Gabor filtering, a novel classification method called Gabor-DC-CNN combining dual-channel CNN and 3D Gabor filtering was proposed. Specifically, a two-dimensional CNN (2D-CNN) was adopted to automatically extract hierarchical spatial features by processing the original hyperspectral image data; a one-dimensional CNN (1D-CNN) was applied to process 3D Gabor features to extract further deep spectral-textural features. Then the concatena-tion of two fully connected layers from the two CNNs, which fused features, was fed into a Softmax classi-fier to complete the classification. The experimental results demonstrate that the proposed method can pro-vide 98.95%, 99.56% and 99.67% classification accuracy on the Indian Pines, Pavia University and Kennedy
收稿日期: 2018-07-18; 修回日期: 2019-11-02. 基金项目: 国家自然科学基金(41801388); 河南省科技攻关计划项目(152102210014, 182102210148).魏祥坡(1991—), 男, 博士, 讲师, 主要研究方向为图像分类、目标采集及处理; 余旭初(1963—), 男, 博士, 教授, 博士生导师, 主要研究方向为图像处理、模式识别、目标工程; 谭熊(1986—), 男, 博士, 讲师, 主要研究方向为目标视频分析; 刘冰(1991—), 男, 博士, 讲师, 主要研究方向为图像分析、目标探测; 职露(1991—), 女, 博士, 讲师, 主要研究方向为图像特征提取.
第1期魏祥坡, 等: CNN和三维Gabor滤波器的高光谱图像分类91 Space Center data respectively, which can improve the classification accuracy effectively.
Key words: hyperspectral image classification; convolutional neural networks (CNN); deep learning; 3D Gabor filtering
1 相关工作
高光谱图像具有较高的光谱分辨率, 能够获取地物近似连续的波谱曲线, 得到地物的诊断性光谱特征, 从而提高地物的分类识别能力. 高光谱图像分类已经广泛应用于植被调查、环境监测、矿物填图、精细农业等领域[1-2], 取得了良好的效果. 然而, 高光谱图像存在高维特性及相邻波段间较强的相关性, 同时, 异物同谱及同谱异物现象的存在, 使得数据结构呈高度非线性. 此外, 高光谱图像中训练样本数量较少, 这些问题导致高光谱图像分类存在诸多困难.
如何有效地从高光谱数据中提取非线性判别特征, 并克服训练样本数量少的问题, 成为近年来高光谱图像分类中的研究热点. 针对高维非线性数据, 深度学习方法可以自主地从数据中学习多种层次的特征, 在高光谱图像特征提取和分类中取得了优异的效果. 堆栈式自编码器(stack auto-encoder, SAE)和深度置信网络(deep belief network, DBN)[3-6]最早用于高光谱图像特征提取和分类, 然而高光谱图像的三维结构必须拉伸为一维特征向量, 才能满足SAE和DBN模型的输入要求, 这样会损失空间信息. 与SAE和DBN需要一维特征向量作为输入不同, 卷积神经网络(convolutional neural network, CNN)可直接对输入的二维图像进行处理[7-9]. Makantasis等[10]采用R-PCA对高光谱图像进行降维, 保留前10或30个主成分, 并利用包含3层卷积层的CNN从空间尺寸5×5的邻域提取空间特征. Yue等[11]首先对高光谱图像进行PCA 降维, 保留前3个主成分, 然后利用2D-CNN从空间尺寸42×42的邻域提取空间特征, 但是单独利用2D-CNN模型忽略了光谱信息. Zhang等[12]提出了一种双通道CNN(dual-channel CNN, DC-CNN)模型, 分别利用2D-CNN和1D-CNN提取高光谱图像的空间特征和光谱特征, 并将2种特征融合用于分类; DC-CNN能够分别提取空间特征和光谱特征, 更加充分地利用了图像中光谱信息和空间信息.
CNN模型中含有大量的参数, 需要大量的训练样本参与训练, 而高光谱图像中训练样本较少, 容易造成过拟合. Gabor滤波器是一种非监督的纹理特征提取方法[13], 能够提取图像边缘、图像纹理的方向、尺寸等内部结构信息, 对纹理特征的描述能力更强, 能够提高CNN模型提取空间特征的效率, 也可以减轻CNN模型对训练样本的依赖. Gabor滤波器应用于高光谱图像分类取得了较好的效果. 冯逍等[14]将三维Gabor滤波器与支持向量机(support vector machine, SVM)相结合用于高光谱图像分类, 能够有效地提高分类精度和效率. 王立国等[15]在对原始高光谱数据进行经验模态分解的基础上进行Gabor滤波操作, 能够更好地挖掘图像的纹理特征. Chen等[13]对PCA降维后的高光谱数据提取二维Gabor特征, 将其输入到2D-CNN 中用于分类, 能够减轻CNN对训练样本的依赖. 但是二维Gabor滤波器仅包含了图像的纹理信息, 三维Gabor滤波器能够在提取纹理信息的基础上较好地保存光谱信息[16].
为了充分利用CNN和三维Gabor滤波器的优势, 本文提出了将DC-CNN和三维Gabor滤波器相结合(Gabor-dual-channel-CNN, Gabor-DC-CNN)的高光谱图像分类方法. 首先利用2D-CNN模型处理原始高光谱图像数据, 提取图像的深层空间特征; 同时利用1D-CNN模型处理三维Gabor特征数据, 利用1D-CNN处理既可以提取图像的深层光谱特征, 也可以进一步提取图像的深层纹理特征, 作为2D-CNN提取空间特征的有效补充. 然后连接2个CNN模型的全连接层实现特征融合, 最后将融合特征输入到分类层中完成分类. 通过利用2个不同的CNN模型分别处理原始高光谱图像数据及三维Gabor特征数据, 不仅充分利用了CNN的特征提取能力和三维Gabor特征的优势, 还实现了图像中多种特征的有效融合. 通过与CNN[7], 2D-CNN, Contextual CNN[17], Gabor-1D-CNN和DC-CNN[12]等方法在3组高光谱数据上进行分类对比实验, 验证本文方法设计的合理性, 并对比不同方法的分类精度及在不同数量的训练样本情况下的精度变化.
92
计算机辅助设计与图形学学报 第32卷
2 基本原理
2.1 三维Gabor 滤波器
Gabor 滤波器是一种窗函数为高斯函数的短时傅里叶变换, 在空间域和频率域都具有较好的分辨能力, 能够有效地提取纹理特征的方向和尺寸等信息. 通过加入光谱维, 三维Gabor 滤波器能够直接从具有立方体结构的高光谱图像数据中提取纹理特征, 其定义为
3/22221(,,)(2π)1 exp 2 exp(i2π()).
x y b
x y b x y b G x y b x y b xf yf bf σσσσσσϕ=
⨯
⎛⎫
⎛⎫'''⎛⎫⎛⎫⎛⎫ ⎪-++⨯ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭
+++ 其中, (,,)x y b σσσ为高斯包络在空间-光谱维
x y b --轴的宽度, 用于确定高斯包络的大小; θ和ϕ确定了三维Gabor 滤波器中心频率的方向, 如图1所示, [,,]x y b 为高光谱数据立方体中某一数据点[,,]x y b '''经过角度θ, ϕ旋转后的坐标; f 为频率, 决定空间尺度因子的大小; (,,x y b f f f )分别表示频率在空间-光谱维的分量. θ和ϕ通常以π/4为步长在[0,π)范围内取值, 但当ϕ=0, θ取
其他4个值时, 3个中心频率分量相等, 取其中1个组合便能代表该中心频率的方向, 因此三维
Gabor 滤波器的总个数为13个.
图1 三维Gabor 滤波器方向
设高光谱图像立方体数据为HSI(,,)x y b , 三维Gabor 滤波器表示为(,,)G x y b , 将高光谱影像立方体数据与三维Gabor 滤波器通过卷积运算并取其实部, 得到既包含光谱特征又包含纹理特征的新立方体数据, 新立方体数据与原始高光谱图像数据维度相同, 即
texture HSI (,,)HSI(,,)(,,)x y b x y b G x y b =⊗.
2.2 CNN
最初的深度CNN 模型应用于二维图像, 在图像分类中取得了优于传统机器学习分类算法的结果, 引发了CNN 模型的研究热潮. 2D-CNN 模型利用多层的卷积滤波和池化操作处理原始图像数据中每个像素的邻域, 以提取复杂的高维特征[18]. 2D-CNN 模型包括输入层、卷积层、池化层和全连接层等, 卷积层主要的功能单元为二维卷积核, 即二维卷积滤波, 其作用于上一层输出的特征图中某一像素的邻域范围, 并通过加入激活函数, 增强了模型的非线性特征提取能力, 有利于实现复杂深层特征的提取. 卷积层的参数包括权值和偏置, ,,x y l j v 为第l 层第j 个特征图中位置(,x y )处的值,
其计算公式为
11,,(),(),,,,(1),00l l H W x y
h w x h y w l j l j m l j l m m h w v f k v b --++-==⎛⎫=+ ⎪ ⎪⎝⎭
∑∑∑.
其中, (),()
(1),x h y w l m
v ++-表示第l −1层输出的第m 个特征图中位置(,x h y w ++)处的值; ,,,h w l j m k 代表了第l 层第j 个卷积核在位置(,h w )处的值, 该卷积核与上一层输出的第m 个特征图相连; l H 和l W 分别表示卷积核的高和宽; ,l j b 为第l 层第j 个特征图对应的偏置项; ()f ⋅为激活函数. 二维卷积滤波的原理如图2所示, 中间红色区域为原始图像, 左上角蓝色区域为卷积核. 为了使输出特征图与原始图像大小一致, 对原始图像的边缘进行了填边, 在原始图像中取每个像元的邻域, 与卷积核进行卷积操作, 如原始图像中青色区域, 并保证中心像元的邻域与卷积核尺寸大小相同; 卷积操作的输出如黄色区域所示, 在输出区域内取均值后作为卷积操作输出的值, 即为输出特征图中中心像元对应位置的值.
池化层中的池化操作包括平均池化和最大池
化等类型, 往往出现在卷积层之后, 作用于卷积层
图2 二维卷积滤波原理示意图
第1期
魏祥坡, 等: CNN 和三维Gabor 滤波器的高光谱图像分类 93
输出的特征图, 可以减小特征图的尺寸, 减少参数数量. 全连接层则是将提取的特征图转换输入到分类层中, 完成分类操作.
1D-CNN 与2D-CNN 基本原理相同, 其主要区别在于卷积滤波和池化操作的维度, 1D-CNN 的卷积层中为一维卷积核[7], 一维卷积滤波作用于一维的特征向量, 计算公式为
1
()
,,,,(1),0l H x h x h l j l j m l j l m m h v f k v b -+-=⎛⎫ ⎪ ⎪⎝⎭
=+∑∑.
其中,
()
(1),x h l m
v +-表示第l −1层输出的第m 个特征图中
位置x h +处的值;,,h l j m k 表示第l 层第j 个卷积核在位置h 处的值, 该卷积核与上一层输出的第m 个特征图相连;l H 表示卷积核的长度; ,l j b 为偏置项;
()f ⋅为激活函数;
,x l j v 为第l 层第j 个特征图中位置
x 处的值. 一维卷积滤波的原理如图3所示, 一维卷积核处理一维数据, 如图中红色区域所示, 左上角蓝色区域为卷积核, 对数据中中心像素邻域进行卷积后得到的输出为图中黄色区域, 取均值即为特征图中对应位置的值.
图3 一维卷积滤波原理示意图
2.3 Gabor-DC-CNN
本文提出的Gabor-DC-CNN 分类方法主要由3部分组成: 利用2D-CNN 模型处理高光谱图像数据提取深层空间特征, 利用1D-CNN 模型处理三维Gabor 特征数据提取深层光谱-纹理特征, 以及连接2个CNN 模型的全连接层实现特征融合并完成分类. 具体来说, 2D-CNN 模型包括2个卷积层、
2个最大池化层和1个全连接层, 其输入为图像中某一像元的9× 9×L 的邻域立方体; 1D-CNN 模型包含2个卷积层和1个全连接层, 其输入为Gabor
特征数据的1×1×B 的一维向量; 并将2个模型的全连接层连接起来输入到Softmax 分类层中完成分类, 如图4所示(网络模型调参将在第3.2.1节中讨论). 采用ReLU(rectified linear units)函数作为卷积层的激活函数, 能够解决传统的Sigmoid, tanh 等激活函数容易出现的梯度弥散等问题, 而且收敛速度较快[19]. 模型的优化函数采用Adadelta 函数, 能够自适应地调整学习率[20]. Softmax 函数作为分类层的分类函数有着计算简单、分类性能良好的优点. 研究表明, 在卷积层中3×3大小的卷积窗口能够获得较好的效果[21], 因此确定二维卷积核的大小为3×3. 在2D-CNN 中, 第1个卷积层采用
32个3×3卷积核, 对输入图像进行步长为1的卷积操作; 第2个卷积层由64个3×3卷积核对特征图进行步长为1的卷积操作, 池化层采用最大池化, 其作用区域均为2×2, 全连接层的输出特征数为
128. 在1D-CNN 中, 卷积核的大小调整为3, 其余模型参数与2D-CNN 模型相同.
本文方法步骤如下:
输入. 高光谱图像数据HSI(,,)x y b 、三维
Gabor 特征数据texture HSI (,,)x y b .
输出. 高光谱图像分类结果.
Step1. 读入图像数据及三维Gabor 特征数据. Step2. 利用CNN 模型提取深层特征:
Step2.1. 利用2D-CNN 模型处理HSI(,,)x y b , 提
取深层空间特征;
Step2.2. 利用1D-CNN 模型处理texture HSI (,,)x y b ,
提取深层光谱-纹理特征.
Step3. 连接2个CNN 模型的全连接层, 实现深层特征的融合.
Step4. 将融合特征输入到Softmax 分类层中, 实现高光谱图像的分类, 输出分类结果.
3 实验与分析
3.1 实验数据
为了验证本文方法的有效性, 采用3组数据Indian Pines, Pavia University 及Kennedy Space Center 进行验证实验. 实验是在PC 机上实施, 配置为Intel Core i7-4720HQ @ 2.6 GHz, NVIDIA GeForce GTX 965M 和16 GB 内存.
3个数据集的数据信息如表1所示, 实验中的图像用于实验的波段均为去除水汽吸收波段, 它们的训练样本和测试样本数量分别如表2~表4所示; 其中, Indian Pines 数据图像中共包含16类地
94
计算机辅助设计与图形学学报 第32卷
图4 CNN 和三维Gabor 特征相结合的分类示意图
表1 实验数据信息
数据名称
获取地点
获取成像光谱仪
图像大小/像素 波长/μm 波段数 空间分辨率/m
Indian Pines 美国印第安纳州西北部某林区 AVIRIS 145×1450.40~2.50 200 20.0 Pavia University 意大利帕维亚大学
ROSIS 610×3400.43~0.86 103 1.3 Kennedy Space Center
佛罗里达州肯尼迪航天中心附近
AVIRIS
512×614
0.40~2.50
176
18.0
表2 Indian Pines 数据样本数量
类别 训练样本 测试样本 Corn-notill 200 1 228 Corn-mintill 200 630 Grass-pasture 200 283 Grass-trees 200 530 Hay-windowed 200 278 Soybean-notill 200 772 Soybean-mintill 200 2 255 Soybean-clean 200 393 Woods 200 1 065 总和
1 800
7 434
表3 Pavia University 数据样本数量
类别 训练样本 测试样本 Asphalt 200 6 431 Meadows 200 18 449 Gravel 200 1 899 Trees 200 2 864 Sheets 200 1 145 Bare Soil 200 4 829 Bitumen 200 1 130 Bricks 200 3 482 Shadows 200 747 总和
1 800
40 976
表4 Kennedy Space Center 数据样本数量
类别 训练样本 测试样本 Scrub 50 711 Willow 50 193 CP Hammock 50 206 CP/Oak 50 202 Slash Pine 50 111 Oak/Broadleaf 50 179 Hardwood Swamp
50 55 Graminoid Marsh 50 381 Spartina Marsh 50 470 Cattail Marsh 50 354 Salt Marsh 50 369 Mud Flats 50 453 Water 50 877 总和
650
4 561
物, 在实验中剔除真实样本较少的地物类别, 共保留9类地物. 实验之前, 实验数据均归一化到0~1.
3.2 实验结果与分析 3.2.1 参数选择
(1) 三维Gabor 滤波器参数
为了提取多种类型的纹理特征, 采用了多个方向多个中心频率的三维Gabor 滤波器组, 滤波器组共包含13个方向, 设置中心频率={1/2, 1/4}[14].
(2) 邻域大小
在2D-CNN 处理高光谱图像数据时, 一般作
第1期魏祥坡, 等: CNN和三维Gabor滤波器的高光谱图像分类95
用于某个像元的邻域, 邻域的大小对模型的分类性能有一定的影响. 设定Gabor-DC-CNN的结构如图4所示, 在不同大小的邻域情况下, 3组数据采用Gabor-DC-CNN分类算法的分类精度和需要的训练时间如表5所示. 整体上看, 随着邻域范围的逐渐增大, 分类精度逐渐提高, 当邻域大小为13×13和17×17时, 3组数据的分类精度均能达到较高的水平. 然而, 随着邻域范围的增大, 模型训练所需的时间也随之增长. 综合考虑分类精度和训练时间, 本文选择3组数据的邻域大小为13×13, 既能保持较高的分类精度, 模型的训练时间也不会太长.
(3) 卷积层数量
卷积层数量对CNN模型的效果具有重要的作用, 因此分析不同的卷积层数量对Gabor-DC- CNN性能的影响. 设输入数据的邻域大小为13×13, 表6列出了不同卷积层数量时Gabor-DC- CNN的分类精度及训练时间. 可以看出, 随着卷积层数量的不断增加, Gabor-DC-CNN的分类精度出现起伏, 在卷积层数量为2, 4时精度较高, 在卷积层数量为1, 3, 5时精度较低. Gabor-DC-CNN在卷积层数量较多时也能取得较高的分类精度, 考虑模型的训练时间, 设置3组数据的Gabor-DC- CNN的卷积层数量为2.
表5不同大小邻域分类精度和训练时间
Indian Pines Pavia University Kennedy Space Center
尺寸
分类精度/% 训练时间/s 分类精度/% 训练时间/s 分类精度/% 训练时间/s 5×5 87.52 90.2 95.18 61.8 94.31 32.5
9×9 96.40 102.6 98.42 71.3 98.17 39.2
13×13 98.95 130.5 99.56 100.4 99.67 54.3
17×17 98.98 213.7 99.49 131.7 99.75 61.3 表6不同卷积层数量的Gabor-DC-CNN分类精度及训练时间
Indian Pines Pavia University Kennedy Space Center
卷积层数量
分类精度/% 训练时间/s 分类精度/% 训练时间/s 分类精度/% 训练时间/s
1 87.85 102.0 87.35 73.5 97.31 41.8
2 98.95 130.5 99.56 100.4 99.67 54.3
3 98.42 190.
4 97.41 140.7 90.96 70.4
4 99.52 242.4 98.98 189.9 99.19 86.1
5 98.19 257.5 96.64 196.0 94.34 91.6
3.2.2 分类结果与分析
为了更好地评价本文方法的分类性能, 将本文方法与CNN[7], 2D-CNN, Contextual CNN[17], Gabor-1D-CNN和DC-CNN[12]等方法进行对比. 其中, 2D-CNN与本文方法中的2D-CNN具有相同的模型结构和输入数据, Gabor-1D-CNN与本文方法中的1D-CNN具有相同的模型结构和输入数据, DC-CNN具有与本文方法相同的模型结构, 不同之处在于其中1D-CNN的输入为原始高光谱数据, 处理像素的一维光谱向量. Contextual CNN[17]通过提取单个像素的局部光谱空间信息, 实现了基于CNN的联合光谱空间特征的分类. 在分类过程中, 每个分类器的训练样本数量都是相同的(Indian Pines和Pavia University数据, 每类200个样本; Kennedy Space Center数据, 每类50个样本). 实验采用每类地物的分类精度及总体精度(overall ac-curacy, OA)作为分类性能评价指标.
表7~表9列出了3组实验数据的分类精度, 表中加粗数字为同一行中的最高值, 通过对比分析, 可以得出以下结论.
(1) Gabor-DC-CNN模型中包含的2D-CNN模型、1D-CNN模型及DC-CNN均具有较好的分类能力. 对比方法中的2D-CNN和Gabor-1D-CNN在2组数据中都取得了较好的分类精度; 同时DC-CNN取得了比2D-CNN更高的分类精度, 也证明了分别提取空间特征和光谱特征的优势.
(2) Gabor-DC-CNN分类方法的OA明显优于各对比方法, 充分利用了DC-CNN和三维Gabor滤波器的优势. 针对Indian Pines数据, Gabor-DC-CNN 的OA达到98.95%, 相比DC-CNN提高2.27%, 相比Gabor-1D-CNN提高4.79%, 相比2D-CNN提高4.92%; 针对Pavia University数据, Gabor-DC-CNN
96 计算机辅助设计与图形学学报第32卷
表7 Indian Pines数据单类地物分类精度及总体精度
类别CNN 2D-CNN Contextual CNN Gabor-1D-CNN DC-CNN Gabor-DC-CNN Corn-notill 78.58 91.94 91.84 94.17 97.06 98.11 Corn-mintill 85.23 92.05 93.89 99.04 96.63 99.76 Grass-pasture 95.75 99.38 99.38 96.27 95.65 98.34 Grass-trees 99.81 98.22 99.59 99.18 99.86 99.18 Hay-windowed 99.64 100.00 100.00 100.00 100.00 100.00 Soybean-notill 89.63 93.21 85.46 95.68 93.72 98.25 Soybean-mintill 81.55 86.31 95.42 90.88 94.70 98.49 Soybean-clean 95.42 98.65 84.28 98.99 97.13 100.00 Woods 98.59 98.02 99.21 99.29 99.45 100.00
OA 86.44 93.16 94.03 94.16 96.68 98.95
表8 Pavia University数据单类地物分类精度及总体精度
类别CNN 2D-CNN Contextual CNN Gabor-1D-CNN DC-CNN Gabor-DC-CNN Asphalt 88.38 91.05 90.93 96.35 95.75 99.28 Meadows 91.27 95.06 97.53 98.06 99.86 99.79 Gravel 85.88 94.36 98.81 92.99 99.29 99.67 Trees 97.24 98.55 89.59 96.83 98.83 98.11 Sheets 99.91 100.00 99.48 100.00 100.00 100.00 Bare Soil 96.41 94.96 99.94 98.91 96.84 100.00 Bitumen 93.62 96.86 99.70 98.27 99.92 99.92 Bricks 87.45 92.16 98.64 96.79 99.48 99.08 Shadows 99.57 99.48 93.88 99.68 100.00 99.89
OA 92.27 94.60 96.43 97.55 98.74 99.56
表9 Kennedy Space Center数据单类地物分类精度及总体精度
类别CNN 2D-CNN Contextual CNN Gabor-1D-CNN DC-CNN Gabor-DC-CNN Scrub 97.77 98.55 99.21 98.29 100.00 100.00 Willow 83.54 83.95 91.76 94.65 95.47 100.00
CP Hammock 86.33 93.96 100.00 67.19 100.00 100.00
CP/Oak 69.84 89.68 76.59 88.49 93.25 97.62 Slash Pine 87.58 97.52 93.17 63.35 98.14 99.38 Oak/Broadleaf 93.01 95.20 96.94 73.80 97.82 97.38 Hardwood Swamp 100.00 100.00 100.00 94.29 100.00 100.00 Graminoid Marsh 85.38 99.07 99.77 93.50 100.00 100.00 Spartina Marsh 92.88 92.50 92.30 99.81 97.31 100.00 Cattail Marsh 82.43 88.61 93.81 98.02 100.00 99.75 Salt Marsh 98.57 98.57 100.00 100.00 100.00 100.00 Mud Flats 82.31 74.55 86.68 90.66 97.02 99.40 Water 94.93 98.49 100.00 94.93 100.00 100.00
OA 90.08 93.38 95.47 92.42 98.75 99.67
的OA达到99.56%, 相比DC-CNN提高0.82%, 相比Gabor-1D-CNN提高2.01%, 相比2D-CNN提高4.96%; 针对Kennedy Space Center数据, Ga-bor-DC-CNN的OA达到99.67%, 相比DC-CNN提高0.92%, 相比Gabor-1D-CNN提高7.25%, 相比2D-CNN提高6.29%.
(3) Gabor-DC-CNN分类方法也能明显提高多种地物的分类精度. 如Indian Pines数据中的Corn-notill, Soybean-notill等地物; Pavia University 数据中的Asphalt, Gravel等地物; Kennedy Space Center数据中的Willow, CP/Oak, Mud Flats等地物.
图5~图7分别为3组实验数据的地面真实样
第1期魏祥坡, 等: CNN和三维Gabor滤波器的高光谱图像分类97
本图及采用Gabor-DC-CNN分类方法得到的分类
结果图. 从2组数组的分类结果图可以看出, 分类
结果图中没有大块的噪声点, 各类地物的分类结
果都有较高的分类精度, 与表7~表9中的分类精
度结果相符.
a. 参考样本
b. Gabor-DC-CNN
图5 Indian Pines数据分类结果图
a. 参考样本
b. Gabor-DC-CNN
图6 Pavia University数据分类结果图
a. 参考样本
b. Gabor-DC-CNN
图7 Kennedy Space Center数据分类结果图
此外, 由于高光谱图像中训练样本较少, 能否
利用少量的训练样本完成分类器的训练并取得较
好的效果也是评价分类方法好坏的一个指标. 用
于模型训练的样本数量不同, 也会对分类方法的
精度造成影响. 图8列出了3组数据使用不同分类
方法在不同训练样本数量条件下的分类精度, 可
以看出, Gabor-DC-CNN分类方法在有限数量的样
本情况下仍能取得较好的分类精度, 随着训练样
本数量的减少, Gabor-1D-CNN和Gabor-DC-CNN
仍能取得较好的分类精度, 证明Gabor特征能够减
少分类器对训练样本数量的依赖.
图8 在不同训练样本数量条件下的分类精度
4 结语
为了充分利用CNN和三维Gabor滤波器的优
势, 本文提出了DC-CNN和三维Gabor滤波器相结
合的高光谱图像分类方法Gabor-DC-CNN. 该方法
利用2D-CNN模型处理原始高光谱图像数据, 提
取深层空间信息, 同时利用1D-CNN模型处理三
维Gabor特征数据, 提取深层光谱特征, 进一步提
取深层纹理特征, 并将2个模型的全连接层连接,
98 计算机辅助设计与图形学学报第32卷
作为融合特征输入到分类层中完成分类. 分类实验表明, 本文方法能够充分利用图像中的光谱信息和空间信息, 有效地改善了高光谱图像分类效果. 此外, 分析了不同的邻域大小及不同卷积层数量对模型分类性能的影响, 给出了本文方法在不同数量的训练样本情况下的分类精度, 其相比单独利用CNN模型或Gabor特征的高光谱图像分类方法, 由于充分利用了CNN模型的特征提取能力和三维Gabor滤波器的优势, 有效地提高了分类精度. 本文方法通过构建Gabor-DC-CNN模型, 分别提取了光谱特征和空间特征, 实现了高光谱图像中多种特征的融合, 充分利用了高光谱图像中蕴含的各种信息, 有利于CNN在高光谱图像分类中的应用. 在后续的研究中, 可以进一步研究如何将三维Gabor滤波器与3D-CNN结合, 更好地利用CNN模型提取高光谱图像中的各种特征, 促进CNN在高光谱图像分类中的应用.
参考文献(References):
[1] Bioucas-Dias J M, Plaza A, Camps-Valls G, et al. Hyperspectral
remote sensing data analysis and future challenges[J]. IEEE Geoscience and Remote Sensing Magazine, 2013, 1(2): 6-36 [2] Liu Dechang, Zhao Yingjun, Ye Fawang, et al. Study on the
metallogenic background of the Liuyuan—Fangshankou area by using airborne hyperspectral remote sensing[J]. Journal of Remote Sensing, 2017, 21(1): 136-148(in Chinese)
(刘德长, 赵英俊, 叶发旺, 等. 航空高光谱遥感区域成矿背景研究——以甘肃柳园—方山口地区为例[J]. 遥感学报, 2017, 21(1): 136-148)
[3] Chen Y S, Lin Z H, Zhao X, et al. Deep learning based classi-
fication of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2094-2107
[4] Chen Y S, Zhao X, Jia X P. Spectral spatial classification of
hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392
[5] Tao C, Pan H B, Li Y S, et al. Unsupervised spectral-spatial
feature learning with stacked sparse auto encoder for hyper-spectral imagery classification[J]. IEEE Geoscience and Re-mote Sensing Letters, 2015, 12(12): 2438-2442
[6] Ma X R, Wang H Y, Geng J. Spectral-spatial classification of
hyperspectral image based on deep auto-encoder[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(9): 4073-4085
[7] Hu W, Huang Y Y, Wei L, et al. Deep convolutional neural
networks for hyperspectral image classification[J]. Journal of Sensors, 2015, 2015: Article ID 258619
[8] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and
classification of hyperspectral images based on convolutional
neural networks[J]. IEEE Transactions on Geoscience and Re-
mote Sensing, 2016, 54(10): 6232-6251
[9] Liu B, Yu X C, Zhang P Q, et al. A semi-supervised convolu-
tional neural network for hyperspectral image classification[J].
Remote Sensing Letters, 2017, 8(9): 839-848
[10] Makantasis K, Karantzalos K, Doulamis A, et al. Deep super-
vised learning for hyperspectral data classification through convolutional neural networks[C] //Proceedings of the IEEE International Geoscience and Remote Sensing Symposium. Los Alamitos: IEEE Computer Society Press, 2015: 4959-4962 [11] Yue J, Zhao W Z, Mao S J, et al. Spectral-spatial classification
of hyperspectral images using deep convolutional neural net-
works[J]. Remote Sensing Letters, 2015, 6(6): 468-477
[12] Zhang H K, Li Y, Zhang Y Z, et al. Spectral-spatial classifica-
tion of hyperspectral imagery using a dual-channel convolu-
tional neural network[J]. Remote Sensing Letters, 2017, 8(5): 438-447
[13] Chen Y S, Zhu L, Ghamisi P, et al. Hyperspectral images clas-
sification with Gabor filtering and convolutional neural net-
work[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12): 2355-2359
[14] Feng Xiao, Xiao Pengfeng, Li Qi, et al. Hyperspectral image
classification based on 3-D Gabor filter and support vector machines[J]. Spectroscopy and Spectral Analysis, 2014, 34(8): 2218-2224(in Chinese)
(冯逍, 肖鹏峰, 李琦, 等. 三维Gabor滤波器与支持向量机
的高光谱遥感图像分类[J]. 光谱学与光谱分析, 2014, 34(8): 2218-2224)
[15] Wang Liguo, Wan Yumei, Lu Tingting, et al. Hyperspectral
image classification by combining empirical mode decomposi-
tion with Gabor filtering[J]. Journal of Harbin Engineering University, 2016, 37(2): 284-290(in Chinese)
(王立国, 宛宇美, 路婷婷, 等. 结合经验模态分解和Gabor
滤波的高光谱图像分类[J]. 哈尔滨工程大学学报, 2016, 37(2): 284-290)
[16] Bau T C, Sarkar S, Healey G. Hyperspectral region classifica-
tion using a three-dimensional Gabor filterbank[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(9): 3457-3464
[17] Lee H, Kwon H. Going deeper with contextual CNN for hy-
perspectral image classification[J]. IEEE Transactions on Im-
age Processing, 2017, 26(10): 4843-4855
[18] Li Y, Zhang H K, Shen Q. Spectral-spatial classification of hy-
perspectral imagery with 3D convolutional neural network[J].
Remote Sensing, 2017, 9(1): 67
[19] Krizhevsky A, Sutskever I, Hinton G. ImageNet classification
with deep convolutional neural networks[C] //Proceedings of the 25th International Conference on Neural Information Proc-
essing Systems. New York: ACM Press, 2012, 1: 1097-1105 [20] Zeiler M D. Adadelta: an adaptive learning rate method[OL].
[2018-07-18]. https:///abs/1212.5701
[21] Simonyan K, Zisserman A. Very deep convolutional networks
for large-scale image recognition[C] //Proceedings of the In-
ternational Conference on Learning Representations. New York: ACM Press, 2015: 1-14。