标签：CNN网络 提取 误差 丢失 全连接 最简 net 反射 alt
有两个问题：1.传统算法不适用于高光谱图像的高维数据；2.亚像素级的信息没有被充分利用。因此作者提出了通用的端到端的2维CNN来进行高光谱图像的变化检测。主要贡献：1.引入融合亚像素表示的混合亲和矩阵，挖掘更多的跨通道梯度特征，融合多源信息；2.设计2维CNN在更高的层次有效学习多源数据差异特征，增强了CD算法的泛化能力；3.设计了一个新的HIS-CD数据集进行比较实验
完整的CD检测过程：1.图像预处理（应该是获得两张对应的图像，就是获得数据）；2.生成DI；3.评估。
对于HIS-CD有三个主要问题：1.混合像素问题，就是在该像素区域内有多个物体表面，这个像素表示的是这多个物体表面的平均值，那这样表示就不精确，就限制了HIS-CD的检测；2.高维数据问题，一些CD算法进行特征提取和波段选择来降维，某种程度上会丢失信息；3.有限的数据集问题，HIS-CD数据集较少，且制作耗时费力。
More Actions作者的动机主要有两个：1.必须解决混合像素的问题，利用光谱分解技术分解出一个像素内的具体成分以及相应的abundance map（一个像素内各成分所占的比例）；2.深度网络可以很好的解决高维数据问题并且能提取有效的特征，但许多运用了深度学习的HIS-CD方法没有充分提取特征，这些方法一般主要分析一维光谱向量的像素变化，而对应同一像素上不同光谱间的特征包含丰富的信息，但都被忽视了
CD最普遍和最简单的方法是图像差值以及图像比值，当处理多光谱图像时，主要有以下四种分类：
主要有以下步骤：光谱分解，提取端元（端元应该就是一个像素内所包含的多个物体表面），丰度估计，形成混合亲和矩阵，GETNET网络处理这个矩阵得出结果。
一个完整的光谱分解过程包括：端元提取，丰度估计。
端元提取采用的是ATGP算法；丰度估计采用线性分解以及非线性分解方法对提取到的端元解混
线性混合模型，假定每一个像素是端元的线性组合
\(r\)：反射系数，\(b\times1\)向量 \(m\)：端元个数 \(\omega_{li}\)：第\(i\)个端元的丰度分数，就是占比 \(X\)：\(b\times m\)的一个矩阵，\(b\)个波段，\(m\)个端元 \(x_i\)：\(X\)中的一列 \(\epsilon\)：\(b\times1\)的噪声向量，传感器和模型误差引起 FCLS算法求出\(\omega_l\)
非线性混合模型
\(\bigodot\)：是逐点相乘 \(a_{ij}\)：\(i\)和\(j\)之间的非线性参数来表征模型非线性特性 \(\omega_{ni}\)：第\(i\)个端元的非线性比例 BFM算法求出\(\omega_n\)
HSI的大小是\(h\times w\times b\)，\(\omega _n\)和\(\omega _l\)可以表示为\(h\times w\times m\)，将其简单的拼接在一起就得到了多元数据立方体
提出了混合亲和矩阵来进行多源信息融合
上式是一个基本的计算方法，\(r_{ij}\)表示的是对应像素的信息向量
每一个像素都是一个\(n\times n\)的混合亲和矩阵，\(n = b + 2m\)，这个矩阵包含了像素级别信息：各个光谱波段间的关系，而且包含了亚像素信息：对应像素中各个端元的丰度之间的关系。
具体分为5部分，A表示两幅图中对应像素的特定波段之间的差异信息，就是各个波段之间用（8）式进行计算；B表示两幅图中对应像素中的特定端元间的线性丰度的差异信息，计算同（8）；E表示两幅图中对应像素中特定端元间的非线性丰度的差异信息；因为高光谱数据和端元丰度图之间没有关系，所以C为0。
每一个混合矩阵被输入到2维CNN中，将CD看成是一个分类任务，即某一像素是否改变。那个这个混合亲和矩阵有什么意义呢？
是一种有效的方法来同时处理多源数据的融合，结合了高光谱数据和丰度图数据；
一维的像素向量被映射到二维的矩阵中，能够提供丰富的跨通道梯度的信息，最大化多源信息的利用率；
这个矩阵能和CNN无缝衔接，CNN能够有效的学习到用于CD检测的特征，而且能够整合矩阵中不同部分的信息
不同于一般CNN网络的权值共享，GETNET采用的是局部权值共享，因为矩阵有两部分不同性质的信息，因此采用两个不同的卷积核，左上角和右下角。经过卷积核池化之后，学习到两种不同的高层次的特征，然后用全连接层融合两类特征，来提高模型的泛化能力，因为两类特征对不同的数据集比较敏感。如下图
这里的channels应该是每一层卷积核的个数，也就是输出的feature map的通道数
因为根据CVA的结果来看变化和未变化的比例是1：2，也就是说没有变化的像素更多，因此要多采用未变化的样本来训练网络，使网络能够区分更多的未变化样本。所以训练采用的是用CVA方法生成的带标签的伪数据集，正负样本比例是1:2
数据集：总共使用了四个数据集，三个现有的数据集，以及开源出了一个数据集
实验结果：
论文阅读|GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection
标签：CNN网络 提取 误差 丢失 全连接 最简 net 反射 alt
原文地址：https://www.cnblogs.com/QuintinLiu/p/11745851.html
