深度学习中特征表示方法研究与应用-手机知网

深度学习中特征表示方法研究与应用,深度学习;;特征表示;;自编码器;;卷积神经网络;;缺失值填补,近年来,随着硬件计算能力的提高,深度学习在计算机视觉、语音识别、自然 ... 手机知网App 24小时专家级知识服务 打开 计算机软件及计算机应用 手机知网首页 文献检索 期刊 工具书 图书 我的知网 充值中心 深度学习中特征表示方法研究与应用 西南交通大学 | 余增  近年来,随着硬件计算能力的提高,深度学习在计算机视觉、语音识别、自然语言处理、卫生医疗等各个领域取得了举世瞩目的成绩。

特征表示与学习是深度学习研究中最为基础也是最为核心的问题。

然而,目前基于深度学习的特征表示方法存在着各种各样的问题,如缺乏泛化的误差界、深层网络训练困难、过拟合、欠拟合、梯度消失、梯度爆炸、特征提取不充分等。

本文针对深度学习中的特征表示问题,分别从特征表示的鲁棒性、深层网络的训练、充分的特征表示及缺失数据下的应用等几个方面展开了研究。

主要工作和研究成果如下:(1)总结了自编码器的一般规律:第一,给出了输入层重构的泛化误差下界,进而证明了所有自编码器的输入层重构误差不能小于该下界,该规律可作为输入层重构是否有效的一个判别准则;第二,证明了隐含层重构达到理想状态是输入层重构到达理想状态的一个必要条件;第三,证明了最小化雅克比矩阵的F范数存在缺陷,而隐含层重构能解决这个不足,并且其特征表示能力更鲁棒。

基于以上规律,提出了一种新的无监督特征表示方法:DDAEs。

该方法通过同时最小化输入层和隐含层的重构误差来学习鲁棒的特征表达。

相比于研究前沿的一些方法,DDAEs具有高度的灵活性、抗噪性、准确性和鲁棒性等优点。

在UCI数据、图像分类数据和基因序列数据上对DDAEs进行了评测、分析和比较,验证了其特征表示方法的有效性。

(2)针对深层神经网络训练困难、梯度消失、过拟合等问题,提出了一种新的结构:跨层神经元结构。

该结构利用神经元收集和提取下层网络学习到的特征,并将学习到的特征传递到更高的网络层,进而使得高层网络不仅能提取到高度抽象的特征,而且还能拥有所有底层网络的优点。

分析表明该结构可以用于有效地训练更深层的卷积神经网络,其不仅能缓解深层网络的梯度消失、过拟合问题,还能加速网络的收敛速度。

基于该结构,构造了一种新的深度卷积神经网络模型,跨层神经元网络模型。

在标准的图像分类数据集MNIST、CIFAR-10、CIFAR-100、SVHN和STL-10上,从分类精度和训练时间上验证了跨层神经元网络的有效性。

(3)针对深度卷积神经网络特征提取不充分的问题,提出了一种基于多视图的特征表示方法。

该方法首先利用不同的视图学习特征表示不同方面的特性,然后融合各方面得到的信息来提取单个视图无法学习到的特征。

考虑到卷积网络中的全连接层不仅会破坏数据本身的空间结构,还会加大了网络的训练难度,进而提出了一种不包含全连接层的多视图的特征表示方法。

在监控视频中的行人重识别数据集上对基于多视图的特征表示方法进行评测、分析和比较,验证了该方法的有效性。

相比于其他方法,基于多视图的特征表示方法在数据集iLIDS-VID、PRID-2011和MARS上取得了更好的识别效果。

(4)提出了一种能根据基因的不同重要性自动地加权不同基因的局部自加权最小二乘缺失值填补算法:LAW-LSimpute。

该算法首先针对每个基因在缺失值填补中的重要性进行了量化建模,然后采用拉格朗日最优化方法给出了每个基因的最优权重因子。

为了加快收敛速度,引入不确定性度量的概念,设计了一种迭代的缺失值填补方法:ILAW-LSimpute。

大量的实验表明,新提出的ILAW-LSimpute方法能有效地减小缺失值填补方法中的估计误差。

另一方面,为了验证前面提出的DDAEs特征表示方法的鲁棒性,同时也为了说明新的缺失值填补方法对后续分类等任务的有效性,对比了不同分类方法采用不同缺失值填补方法的分类结果,并给出了各种缺失率下不同缺失值填补方法与不同分类方法分类精度之间的关系。

在基因表达数据集上,验证了新提出的缺失值填补算法ILAW-LSimpute对后续分类任务的有效性,并进一步验证了特征表示方法DDAEs的鲁棒性。

机　构: 西南交通大学 领　域: 计算机软件及计算机应用； 自动化技术； 关键词: 深度学习； 特征表示； 自编码器； 卷积神经网络； 缺失值填补； 2 334 查看目录 下载CAJ版(8216K) CAJ阅读器下载 手机阅读本文 下载APP手机查看本文 博士论文 《西南交通大学》 2018年博士论文 精选好书 查看更多好书 相似文献 期刊 硕士 博士 会议 报纸 参考文献 引证文献 共引文献 同被引文献 二级参考文献 二级引证文献 图书推荐 相关工具书 搜索 登录 注册 充值 文献 期刊 工具书 图书 文集 首页 搜索 客户端 充值 帮助 违法和不良信息举报电话：400-062-8866 举报邮箱：[email protected] ©2022中国知网(CNKI)