深度学习- 维基百科，自由的百科全书

深度学习是机器学习中一种基于对数据进行表征学习的算法。

观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状 ... 深度学习 维基百科，自由的百科全书 跳到导航 跳到搜索 机器学习与数据挖掘 问题 分类 聚类 回归 异常检测 数据清洗 自动机器学习（英语：Automatedmachinelearning） 关联规则 强化学习 结构预测（英语：Structuredprediction） 特征工程（英语：Featureengineering） 特征学习 線上機器學習 無監督學習 半监督学习（英语：Semi-supervisedlearning） 排序学习（英语：Learningtorank） 语法归纳（英语：Grammarinduction） 監督式學習(分类 ·回归) 决策树 集成（装袋，提升，随机森林） k-NN 线性回归 朴素贝叶斯 神经网络 逻辑回归 感知器 支持向量机（SVM） 相关向量机（RVM） 聚类 BIRCH 层次（英语：Hierarchicalclustering） k-平均 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Meanshift） 降维 因素分析 CCA ICA LDA NMF（英语：Non-negativematrixfactorization） PCA LASSO t-SNE（英语：t-distributedstochasticneighborembedding） 结构预测（英语：Structuredprediction） 概率图模型（贝叶斯网络，CRF,HMM） 异常检测 k-NN 局部离群因子（英语：Localoutlierfactor） 神经网络 自编码 深度学习 多层感知机 RNN 受限玻尔兹曼机 SOM CNN 强化学习 Q学习 SARSA 时序差分学习（英语：Temporaldifferencelearning） 深度强化学习 理论 偏差/方差困境（英语：Bias–variancetradeoff） 计算学习理论（英语：Computationallearningtheory） 经验风险最小化 PAC学习（英语：Probablyapproximatelycorrectlearning） 统计学习 VC理论 查论编 人工智能 主要目标 知识表示 自动规划（英语：Automatedplanningandscheduling） 机器学习 語言處理 电脑视觉 机器人学 強人工智慧 实现方式 符号人工智能 深度学习 貝氏網路 进化算法 人工智能哲學 伦理（英语：Ethicsofartificialintelligence） 存在风险（英语：Existentialriskfromartificialgeneralintelligence） 图灵测试 中文房间 友好的人工智能（英语：Friendlyartificialintelligence） 人工智能史 时间轴（英语：Timelineofartificialintelligence） 发展（英语：Progressinartificialintelligence） 人工智慧低谷 技术 应用（英语：Applicationsofartificialintelligence） 项目（英语：Listofartificialintelligenceprojects） 编程语言（英语：Listofprogramminglanguagesforartificialintelligence） 术语 术语（英语：Glossaryofartificialintelligence） 查论编 深度学习（英語：deeplearning）是机器学习的分支，是一種以人工神經網路為架構，對資料進行表徵學習的算法。

[1][2][3][4][5] 深度学习是机器学习中一种基于对数据进行表征学习的算法。

观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。

而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别[6]）。

深度学习的好处是用非监督式或半监督式（英语：Semi-supervisedlearning）的特征学习和分层特征提取高效算法来替代手工获取特征。

[7] 表征学习的目标是寻求更好的表示方法并建立更好的模型来从大规模未标记数据中学习这些表示方法。

表示方法来自神经科学，并松散地建立在類似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉動神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。

[8] 至今已有數种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络（英语：Deepbeliefnetwork）和循环神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。

另外，「深度学习」已成為時髦術語，或者说是人工神经网络的品牌重塑。

[9][10] 目录 1简介 2基本概念 3人工神经网络下的深度学习 4深度学习结构 4.1深度神经网络 4.2深度神经网络的问题 4.3深度置信网络 4.4卷积神经网络 4.5卷积深度置信网络 4.6结果 4.6.1语音识别 4.6.2图像分类 5深度学习与神经科学 6公众视野中的深度学习 7批评 8参见 9参考资料 10外部链接 简介[编辑] 深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[11]，而人工神经网络的历史更为久远。

1989年，扬·勒丘恩（YannLeCun）等人开始将1974年提出的标准反向传播算法[12]应用于深度神经网络，这一网络被用于手写邮政编码识别。

尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[13]。

许多因素导致了这一缓慢的训练过程，其中一种是由于尔根·施密德胡伯的学生赛普·霍克赖特（英语：SeppHochreiter）于1991年提出的梯度消失问题[14][15]。

最早的进行一般自然杂乱图像中自然物体识别的深度学习网络是翁巨扬（JuyangWeng）等在1991和1992发表的生长网（Cresceptron）[16][17][18]。

它也是第一个提出了后来很多实验广泛采用的一个方法：现在称为最大汇集（max-pooling）以用于处理大物体的变形等问题。

生长网不仅直接从杂乱自然场景中学习老师指定的一般物体，还用网络反向分析的方法把图像内被识别了的物体从背景图像中分割出来。

2007年前后，杰弗里·辛顿和鲁斯兰·萨拉赫丁诺夫（RuslanSalakhutdinov）提出了一种在前馈神经网络中进行有效训练的算法。

这一算法将网络中的每一层视为无监督的受限玻尔兹曼机，再使用有监督的反向传播算法进行调优[19]。

在此之前的1992年，在更为普遍的情形下，施密德胡伯也曾在循环神经网络上提出一种类似的训练方法，并在实验中证明这一训练方法能够有效提高有监督学习的执行速度[20][21]. 自深度学习出现以来，它已成为很多领域，尤其是在计算机视觉和语音识别中，成为各种领先系统的一部分。

在通用的用于检验的数据集，例如语音识别中的TIMIT和图像识别中的ImageNet,Cifar10上的实验证明，深度学习能够提高识别的精度。

与此同时，神经网络也受到了其他更加简单归类模型的挑战，支持向量机等模型在20世纪90年代到21世纪初成为过流行的机器学习算法。

硬件的进步也是深度学习重新获得关注的重要因素。

高性能图形处理器的出现极大地提高了数值和矩阵运算的速度，使得机器学习算法的运行时间得到了显著的缩短[22][23]。

由于脑科学方面的大量研究已表明人脑网络不是一个级联的结构，深度学习网络在2001年后正逐渐被更有潜力的基于脑模型的网络[24][25]所替代。

基本概念[编辑] 主条目：層(深度學習) 深度学习的基础是机器学习中的分散表示（distributedrepresentation）。

分散表示假定观测值是由不同因子相互作用生成。

在此基础上，深度学习进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽象。

不同的层数和层的规模可用于不同程度的抽象[3]。

深度学习运用了这分层次抽象的思想，更高层次的概念从低层次的概念学习得到。

这一分层结构常常使用贪婪算法逐层构建而成，并从中选取有助于机器学习的更有效的特征[3]。

不少深度学习算法都以无监督学习的形式出现，因而这些算法能被应用于其他算法无法企及的无标签数据，这一类数据比有标签数据更丰富，也更容易获得。

这一点也为深度学习赢得了重要的优势[3]。

人工神经网络下的深度学习[编辑] 一部分最成功的深度学习方法涉及到对人工神经网络的运用。

人工神经网络受到了1959年由诺贝尔奖得主大卫·休伯尔（DavidH.Hubel）和托斯坦·威泽尔（TorstenWiesel）提出的理论启发。

休伯尔和威泽尔发现，在大脑的初级视觉皮层中存在两种细胞：简单细胞和复杂细胞，这两种细胞承担不同层次的视觉感知功能。

受此启发，许多神经网络模型也被设计为不同节点之间的分层模型[26]。

福岛邦彦提出的新认知机引入了使用无监督学习训练的卷积神经网络。

扬·勒丘恩将有监督的反向传播算法应用于这一架构[27]。

事实上，从反向传播算法自20世纪70年代提出以来，不少研究者都曾试图将其应用于训练有监督的深度神经网络，但最初的尝试大都失败。

赛普·霍克赖特（英语：SeppHochreiter）在其博士论文中将失败的原因归结为梯度消失，这一现象同时在深度前馈神经网络和循环神经网络中出现，后者的训练过程类似深度网络。

在分层训练的过程中，本应用于修正模型参数的误差随着层数的增加指数递减，这导致了模型训练的效率低下[28][29]。

为了解决这一问题，研究者们提出了一些不同的方法。

于尔根·施密德胡伯于1992年提出多层级网络，利用无监督学习训练深度神经网络的每一层，再使用反向传播算法进行调优。

在这一模型中，神经网络中的每一层都代表观测变量的一种压缩表示，这一表示也被传递到下一层网络[20]。

另一种方法是赛普·霍克赖特和于尔根·施密德胡伯提出的長短期記憶神經網路（LSTM）[30]。

2009年，在ICDAR2009举办的连笔手写识别竞赛中，在没有任何先验知识的情况下，深度多维长短期记忆神经网络取得了其中三场比赛的胜利[31][32]。

斯文·贝克提出了在训练时只依赖梯度符号的神经抽象金字塔模型，用以解决图像重建和人脸定位的问题[33]。

其他方法同样采用了无监督预训练来构建神经网络，用以发现有效的特征，此后再采用有监督的反向传播以区分有标签数据。

杰弗里·辛顿等人于2006年提出的深度模型提出了使用多层隐变量学习高层表示的方法。

这一方法使用斯摩棱斯基于1986年提出的受限玻尔兹曼机[34]对每一个包含高层特征的层进行建模。

模型保证了数据的对数似然下界随着层数的提升而递增。

当足够多的层数被学习完毕，这一深层结构成为一个生成模型，可以通过自上而下的采样重构整个数据集[35]。

辛顿声称这一模型在高维结构化数据上能够有效地提取特征[36]。

吴恩达和杰夫·迪恩领导的谷歌大脑团队创建了一个仅通过YouTube视频学习高层概念（例如猫）的神经网络[37] [38]。

其他方法依赖了现代电子计算机的强大计算能力，尤其是GPU。

2010年，在于尔根·施密德胡伯位于瑞士人工智能实验室IDSIA的研究组中，丹·奇雷尚（DanCiresan）和他的同事展示了利用GPU直接执行反向传播算法而忽视梯度消失问题的存在。

这一方法在扬·勒丘恩等人给出的手写识别MNIST数据集上战胜了已有的其他方法[22]。

截止2011年，前馈神经网络深度学习中最新的方法是交替使用卷积层（convolutionallayers）和最大值池化层（max-poolinglayers）并加入单纯的分类层作为顶端。

训练过程也无需引入无监督的预训练[39][40]。

从2011年起，这一方法的GPU实现[39]多次赢得了各类模式识别竞赛的胜利，包括IJCNN2011交通标志识别竞赛[41]和其他比赛。

这些深度学习算法也是最先在某些识别任务上达到和人类表现具备同等竞争力的算法[42]。

深度学习结构[编辑] 通常将具有两层或两层以上隐藏层的神经网络叫做深度神经网络。

与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

深度神经网络通常都是前馈神经网络，但也有语言建模等方面的研究将其拓展到循环神经网络[43]。

卷积深度神经网络（ConvolutionalNeuralNetworks,CNN）在计算机视觉领域得到了成功的应用[44]。

此后，卷积神经网络也作为听觉模型被使用在自动语音识别领域，较以往的方法获得了更优的结果[45]。

深度神经网络[编辑] 深度神经网络（DeepNeuralNetworks,DNN）是一种判别模型，可以使用反向传播算法进行训练。

权重更新可以使用下式进行随机梯度下降法（英语：Stochasticgradientdescent）求解： Δ w i j ( t + 1 ) = Δ w i j ( t ) + η ∂ C ∂ w i j {\displaystyle\Deltaw_{ij}(t+1)=\Deltaw_{ij}(t)+\eta{\frac{\partialC}{\partialw_{ij}}}} 其中， η {\displaystyle\eta} 为学习率， C {\displaystyleC} 为代价函数。

这一函数的选择与学习的类型（例如监督学习、无监督学习、增强学习）以及激活函数相关。

例如，为了在一个多分类问题上进行监督学习，通常的选择是使用ReLU作为激活函数，而使用交叉熵作为代价函数。

Softmax函数定义为 p j = exp ⁡ ( x j ) ∑ k exp ⁡ ( x k ) {\displaystylep_{j}={\frac{\exp(x_{j})}{\sum_{k}\exp(x_{k})}}} ，其中 p j {\displaystylep_{j}} 代表类别 j {\displaystylej} 的概率，而 x j {\displaystylex_{j}} 和 x k {\displaystylex_{k}} 分别代表对单元 j {\displaystylej} 和 k {\displaystylek} 的输入。

交叉熵定义为 C = − ∑ j d j log ⁡ ( p j ) {\displaystyleC=-\sum_{j}d_{j}\log(p_{j})} ，其中 d j {\displaystyled_{j}} 代表输出单元 j {\displaystylej} 的目标概率， p j {\displaystylep_{j}} 代表应用了激活函数后对单元 j {\displaystylej} 的概率输出[46]。

深度神经网络的问题[编辑] 与其他神经网络模型类似，如果仅仅是简单地训练，深度神经网络可能会存在很多问题。

常见的两类问题是过拟合和过长的运算时间。

深度神经网络很容易产生过拟合现象，因为增加的抽象层使得模型能够对训练数据中较为罕见的依赖关系进行建模。

对此，权重递减（ ℓ 2 {\displaystyle\ell_{2}} 正规化）或者稀疏（ ℓ 1 {\displaystyle\ell_{1}} -正规化）等方法可以利用在训练过程中以减小过拟合现象[47]。

另一种较晚用于深度神经网络训练的正规化方法是丢弃法（"dropout"regularization），即在训练中随机丢弃一部分隐层单元来避免对较为罕见的依赖进行建模[48]。

反向传播算法和梯度下降法由于其实现简单，与其他方法相比能够收敛到更好的局部最优值而成为神经网络训练的通行方法。

但是，这些方法的计算代价很高，尤其是在训练深度神经网络时，因为深度神经网络的规模（即层数和每层的节点数）、学习率、初始权重等众多参数都需要考虑。

扫描所有参数由于时间代价的原因并不可行，因而小批量训练（mini-batching），即将多个训练样本组合进行训练而不是每次只使用一个样本进行训练，被用于加速模型训练[49]。

而最显著地速度提升来自GPU，因为矩阵和向量计算非常适合使用GPU实现。

但使用大规模集群进行深度神经网络训练仍然存在困难，因而深度神经网络在训练并行化方面仍有提升的空间。

深度置信网络[编辑] 一个包含完全连接可见层和隐层的受限玻尔兹曼机（RBM）。

注意到可见层单元和隐层单元内部彼此不相连。

深度置信网络（deepbeliefnetworks，DBN）是一种包含多层隐单元的概率生成模型，可被视为多层简单学习模型组合而成的複合模型[50]。

深度置信网络可以作为深度神经网络的预训练部分，并为网络提供初始权重，再使用反向传播或者其它判定算法作为调优的手段。

这在训练数据较为缺乏时很有价值，因为不恰当的初始化权重会显著影响最终模型的性能，而预训练获得的权重在权值空间中比随机权重更接近最优的权重。

这不仅提升了模型的性能，也加快了调优阶段的收敛速度[51]。

深度置信网络中的每一层都是典型的受限玻尔兹曼机（restrictedBoltzmannmachine，RBM），可以使用高效的无监督逐层训练方法进行训练。

受限玻尔兹曼机是一种无向的基于能量的生成模型，包含一个输入层和一个隐层。

图中对的边仅在输入层和隐层之间存在，而输入层节点内部和隐层节点内部则不存在边。

单层RBM的训练方法最初由杰弗里·辛顿在训练“专家乘积”中提出，被称为对比分歧（contrastdivergence,CD）。

对比分歧提供了一种对最大似然的近似，被理想地用于学习受限玻尔兹曼机的权重[49]。

当单层RBM被训练完毕后，另一层RBM可被堆叠在已经训练完成的RBM上，形成一个多层模型。

每次堆叠时，原有的多层网络输入层被初始化为训练样本，权重为先前训练得到的权重，该网络的输出作为新增RBM的输入，新的RBM重复先前的单层训练过程，整个过程可以持续进行，直到达到某个期望中的终止条件[2]。

尽管对比分歧对最大似然的近似十分粗略（对比分歧并不在任何函数的梯度方向上），但经验结果证实该方法是训练深度结构的一种有效的方法[49]。

卷积神经网络[编辑] 主条目：卷积神经网络 卷积神经网络（convolutionalneuralnetworks，CNN）由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（poolinglayer）。

这一结构使得卷积神经网络能够利用输入数据的二维结构。

与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。

这一模型也可以使用反向传播算法进行训练。

相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构[52]。

卷积深度置信网络[编辑] 卷积深度置信网络（convolutionaldeepbeliefnetworks，CDBN）是深度学习领域较新的分支。

在结构上，卷积深度置信网络与卷积神经网络在结构上相似。

因此，与卷积神经网络类似，卷积深度置信网络也具备利用图像二维结构的能力，与此同时，卷积深度信念网络也拥有深度置信网络的预训练优势。

卷积深度置信网络提供了一种能被用于信号和图像处理任务的通用结构，也能够使用类似深度置信网络的训练方法进行训练[53]。

结果[编辑] 语音识别[编辑] 下表中的结果展示了深度学习在通行的TIMIT数据集上的结果。

TIMIT包含630人的语音数据，这些人持八种常见的美式英语口音，每人阅读10句话。

这一数据在深度学习发展之初常被用于验证深度学习结构[54]。

TIMIT数据集较小，使得研究者可以在其上实验不同的模型配置。

方法 声音误差率(PER, %) 随机初始化RNN 26.1 贝叶斯三音子GMM-HMM 25.6 单音子重复初始化DNN 23.4 单音子DBN-DNN 22.4 带BMMI训练的三音子GMM-HMM 21.7 共享池上的单音子DBN-DNN 20.7 卷积DNN 20.0 图像分类[编辑] 图像分类领域中一个公认的评判数据集是MNIST数据集。

MNIST由手写阿拉伯数字组成，包含60,000个训练样本和10,000个测试样本。

与TIMIT类似，它的数据规模较小，因而能够很容易地在不同的模型配置下测试。

YannLeCun的网站给出了多种方法得到的实验结果[55]。

截至2012年，最好的判别结果由Ciresan等人在当年给出，这一结果的错误率达到了0.23%[56]。

深度学习与神经科学[编辑] 计算机领域中的深度学习与20世纪90年代由认知神经科学研究者提出的大脑发育理论（尤其是皮层发育理论）密切相关[57]。

对这一理论最容易理解的是杰弗里·艾尔曼（英语：JeffreyElman）于1996年出版的专著《对天赋的再思考》（RethinkingInnateness（英语：RethinkingInnateness））[58]（参见斯拉格和约翰逊[59]以及奎兹和赛杰诺维斯基[60]的表述）。

由于这些理论给出了实际的神经计算模型，因而它们是纯计算驱动的深度学习模型的技术先驱。

这些理论指出，大脑中的神经元组成了不同的层次，这些层次相互连接，形成一个过滤体系。

在这些层次中，每层神经元在其所处的环境中获取一部分信息，经过处理后向更深的层级传递。

这与后来的单纯与计算相关的深度神经网络模型相似。

这一过程的结果是一个与环境相协调的自组织的堆栈式的转换器。

正如1995年在《纽约时报》上刊登的那样，“……婴儿的大脑似乎受到所谓‘营养因素’的影响而进行着自我组织……大脑的不同区域依次相连，不同层次的脑组织依照一定的先后顺序发育成熟，直至整个大脑发育成熟。

”[61] 深度结构在人类认知演化和发展中的重要性也在认知神经学家的关注之中。

发育时间的改变被认为是人类和其他灵长类动物之间智力发展差异的一个方面[62]。

在灵长类中，人类的大脑在出生后的很长时间都具备可塑性，但其他灵长类动物的大脑则在出生时就几乎完全定型。

因而，人类在大脑发育最具可塑性的阶段能够接触到更加复杂的外部场景，这可能帮助人类的大脑进行调节以适应快速变化的环境，而不是像其他动物的大脑那样更多地受到遗传结构的限制。

这样的发育时间差异也在大脑皮层的发育时间和大脑早期自组织中从刺激环境中获取信息的改变得到体现。

当然，伴随着这一可塑性的是更长的儿童期，在此期间人需要依靠抚养者和社会群体的支持和训练。

因而这一理论也揭示了人类演化中文化和意识共同进化的现象[63]。

公众视野中的深度学习[编辑] 深度学习常常被看作是通向真正人工智能的重要一步[64]，因而许多机构对深度学习的实际应用抱有浓厚的兴趣。

2013年12月，Facebook宣布雇用楊立昆为其新建的人工智能实验室的主管，这一实验室将在加州、伦敦和纽约设立分支机构，帮助Facebook研究利用深度学习算法进行类似自动标记照片中用户姓名这样的任务[65]。

2013年3月，杰弗里·辛顿和他的两位研究生亚历克斯·克里泽夫斯基和伊利娅·苏特斯科娃被谷歌公司雇用，以提升现有的机器学习产品并协助处理谷歌日益增长的数据。

谷歌同时并购了辛顿创办的公司DNNresearch[66]。

2016年3月，以深度學習開發的圍棋程式AlphaGo首度在比賽中擊敗人類頂尖选手，形成廣泛的討論。

批评[编辑] 对深度学习的主要批评是许多方法缺乏理论支撑。

大多数深度结构仅仅是梯度下降的某些变式。

尽管梯度下降法已经被充分地研究，但理论涉及的其他算法，例如对比分歧算法，并没有获得充分的研究，其收敛性等问题仍不明确。

深度学习方法常常被视为黑盒，大多数的结论确认都由经验而非理论来确定。

也有学者认为，深度学习应当被视为通向真正人工智能的一条途径，而不是一种包罗万象的解决方案。

尽管深度学习的能力很强，但和真正的人工智能相比，仍然缺乏诸多重要的能力。

理论心理学家加里·马库斯（英语：GaryMarcus）指出： 就现实而言，深度学习只是建造智能机器这一更大挑战中的一部分。

这些技术缺乏表达因果关系的手段……缺乏进行逻辑推理的方法，而且远没有具备集成抽象知识，例如物品属性、代表和典型用途的信息。

最为强大的人工智能系统，例如IBM的人工智能系统沃森，仅仅把深度学习作为一个包含从贝叶斯推理和演绎推理等技术的复杂技术集合中的组成部分[67]。

参见[编辑] 图模型 人工智能的应用 杰弗里·辛顿 人工智能项目列表 深度学习库 Torch（英语：Torch(machinelearning)） TensorFlow Theano PaddlePaddle[68] Deeplearning4j Caffe[69] roNNie[70] Keras MXNet[71] 参考资料[编辑] ^Deng,L.;Yu,D.DeepLearning:MethodsandApplications(PDF).FoundationsandTrendsinSignalProcessing.2014,7:3–4[2015-10-23].（原始内容存档(PDF)于2016-03-14）.  ^2.02.1Bengio,Yoshua.LearningDeepArchitecturesforAI(PDF).FoundationsandTrendsinMachineLearning.2009,2(1):1–127.（原始内容(PDF)存档于2016-03-04）.  ^3.03.13.23.3Bengio,Y.;Courville,A.;Vincent,P.RepresentationLearning:AReviewandNewPerspectives.IEEETransactionsonPatternAnalysisandMachineIntelligence.2013,35(8):1798–1828.arXiv:1206.5538 .  ^Schmidhuber,J.DeepLearninginNeuralNetworks:AnOverview.NeuralNetworks.2015,61:85–117.arXiv:1404.7828 .doi:10.1016/j.neunet.2014.09.003.  ^Bengio,Yoshua;LeCun,Yann;Hinton,Geoffrey.DeepLearning.Nature.2015,521:436–444.  ^Glauner,P.DeepConvolutionalNeuralNetworksforSmileRecognition(学位论文).ImperialCollegeLondon,DepartmentofComputing.2015.arXiv:1508.06535 .  ^Song,H.A.;Lee,S.Y.HierarchicalRepresentationUsingNMF.NeuralInformationProcessing.LecturesNotesinComputerSciences8226.SpringerBerlinHeidelberg.2013:466–473.ISBN 978-3-642-42053-5.doi:10.1007/978-3-642-42054-2_58.  ^Olshausen,B.A.Emergenceofsimple-cellreceptivefieldpropertiesbylearningasparsecodefornaturalimages.Nature.1996,381(6583):607–609.  ^Collobert,R.DeepLearningforEfficientDiscriminativeParsing.VideoLectures.net.April2011.事件发生在7min45s[2015-10-31].（原始内容存档于2020-10-19）.  ^Gomes,L.Machine-LearningMaestroMichaelJordanontheDelusionsofBigDataandOtherHugeEngineeringEfforts.IEEESpectrum.20October2014[2015-10-31].（原始内容存档于2019-12-12）.  ^K.Fukushima.,"Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,"Biol.Cybern.,36,193–202,1980 ^P.Werbos.,"BeyondRegression:NewToolsforPredictionandAnalysisintheBehavioralSciences,"PhDthesis,HarvardUniversity,1974. ^LeCunetal.,"BackpropagationAppliedtoHandwrittenZipCodeRecognition,"NeuralComputation,1,pp.541–551,1989. ^S.Hochreiter.,"UntersuchungenzudynamischenneuronalenNetzen,"Diplomathesis.Institutf.Informatik,TechnischeUniv.Munich.Advisor:J.Schmidhuber,1991. ^S.Hochreiteretal.,"Gradientflowinrecurrentnets:thedifficultyoflearninglong-termdependencies,"InS.C.KremerandJ.F.Kolen,editors,AFieldGuidetoDynamicalRecurrentNeuralNetworks.IEEEPress,2001. ^J.Weng,N.AhujaandT.S.Huang,"Cresceptron:aself-organizingneuralnetworkwhichgrowsadaptively（页面存档备份，存于互联网档案馆）,"Proc.InternationalJointConferenceonNeuralNetworks,Baltimore,Maryland,volI,pp.576-581,June,1992. ^J.Weng,N.AhujaandT.S.Huang,"Learningrecognitionandsegmentationof3-Dobjectsfrom2-Dimages（页面存档备份，存于互联网档案馆）,"Proc.4thInternationalConf.ComputerVision,Berlin,Germany,pp.121-128,May,1993. ^J.Weng,N.AhujaandT.S.Huang,"LearningrecognitionandsegmentationusingtheCresceptron（页面存档备份，存于互联网档案馆）,"InternationalJournalofComputerVision,vol.25,no.2,pp.105-139,Nov.1997. ^G.E.Hinton.,"Learningmultiplelayersofrepresentation,"TrendsinCognitiveSciences,11,pp.428–434,2007. ^20.020.1J.Schmidhuber.,"Learningcomplex,extendedsequencesusingtheprincipleofhistorycompression,"NeuralComputation,4,pp.234–242,1992. ^J.Schmidhuber.,"MyFirstDeepLearningSystemof1991+DeepLearningTimeline1962–2013." ^22.022.1D.C.Ciresanetal.,"DeepBigSimpleNeuralNetsforHandwrittenDigitRecognition,"NeuralComputation,22,pp.3207–3220,2010. ^R.Raina,A.Madhavan,A.Ng.,"Large-scaleDeepUnsupervisedLearningusingGraphicsProcessors,"Proc.26thInt.Conf.onMachineLearning,2009. ^J.Weng,J.McClelland,A.Pentland,O.Sporns,I.Stockman,M.SurandE.Thelen,"AutonomousMentalDevelopmentbyRobotsandAnimals（页面存档备份，存于互联网档案馆）,"Science,vol.291,no.5504,pp.599-600,Jan.26,2001. ^J.Weng,"BrainsasNaturallyEmergingTuringMachines（页面存档备份，存于互联网档案馆）,"inProc.InternationalJointConferenceonNeuralNetworks,Killarney,Ireland,8pages,July12-17.2015. ^MRiesenhuber,TPoggio.Hierarchicalmodelsofobjectrecognitionincortex.Natureneuroscience,1999(11)1019–1025. ^Y.LeCun,B.Boser,J.S.Denker,D.Henderson,R.E.Howard,W.Hubbard,L.D.Jackel.BackpropagationAppliedtoHandwrittenZipCodeRecognition.NeuralComputation,1(4):541–551,1989. ^S.Hochreiter.UntersuchungenzudynamischenneuronalenNetzen.Diplomathesis,Institutf.Informatik,TechnischeUniv.Munich,1991.Advisor:J.Schmidhuber ^S.Hochreiter,Y.Bengio,P.Frasconi,andJ.Schmidhuber.Gradientflowinrecurrentnets:thedifficultyoflearninglong-termdependencies.InS.C.KremerandJ.F.Kolen,editors,AFieldGuidetoDynamicalRecurrentNeuralNetworks.IEEEPress,2001. ^Hochreiter,Sepp;andSchmidhuber,Jürgen;LongShort-TermMemory,NeuralComputation,9(8):1735–1780,1997 ^Graves,Alex;andSchmidhuber,Jürgen;OfflineHandwritingRecognitionwithMultidimensionalRecurrentNeuralNetworks,inBengio,Yoshua;Schuurmans,Dale;Lafferty,John;Williams,ChrisK.I.;andCulotta,Aron(eds.),AdvancesinNeuralInformationProcessingSystems22(NIPS'22),December7th–10th,2009,Vancouver,BC,NeuralInformationProcessingSystems(NIPS)Foundation,2009,pp.545–552 ^A.Graves,M.Liwicki,S.Fernandez,R.Bertolami,H.Bunke,J.Schmidhuber.ANovelConnectionistSystemforImprovedUnconstrainedHandwritingRecognition.IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.31,no.5,2009. ^SvenBehnke.HierarchicalNeuralNetworksforImageInterpretation.(PDF).LectureNotesinComputerScience2766.Springer.2003[2014-09-16].（原始内容存档(PDF)于2021-03-08）.  ^ Smolensky,P.Informationprocessingindynamicalsystems:Foundationsofharmonytheory.1.1986:194–281. |journal=被忽略(帮助) ^Hinton,G.E.;Osindero,S.;Teh,Y.Afastlearningalgorithmfordeepbeliefnets(PDF).NeuralComputation.2006,18(7):1527–1554[2014-09-16].PMID 16764513.doi:10.1162/neco.2006.18.7.1527.（原始内容存档(PDF)于2015-12-23）.  ^GeoffreyHinton.Deepbeliefnetworks.Scholarpedia.2009-05-31,4(5)[2018-04-02].ISSN 1941-6016.doi:10.4249/scholarpedia.5947.（原始内容存档于2015-12-04）（英语）.  ^JohnMarkoff.HowManyComputerstoIdentifyaCat?16,000..NewYorkTimes.25June2012[2014-09-16].（原始内容存档于2018-07-11）.  ^Ng,Andrew;Dean,Jeff.BuildingHigh-levelFeaturesUsingLargeScaleUnsupervisedLearning(PDF).2012[2014-09-16].（原始内容存档(PDF)于2017-10-12）.  ^39.039.1D.C.Ciresan,U.Meier,J.Masci,L.M.Gambardella,J.Schmidhuber.Flexible,HighPerformanceConvolutionalNeuralNetworksforImageClassification.InternationalJointConferenceonArtificialIntelligence(IJCAI-2011,Barcelona),2011. ^Martines,H.,Bengio,Y.,&Yannakakis,G.N.(2013).LearningDeepPhysiologicalModelsofAffect.IEEEComputationalIntelligence,8(2),20. ^D.C.Ciresan,U.Meier,J.Masci,J.Schmidhuber.Multi-ColumnDeepNeuralNetworkforTrafficSignClassification.NeuralNetworks,2012. ^D.C.Ciresan,U.Meier,J.Schmidhuber.Multi-columnDeepNeuralNetworksforImageClassification.IEEEConf.onComputerVisionandPatternRecognitionCVPR2012. ^T.Mikolovetal.,"Recurrentneuralnetworkbasedlanguagemodel,"Interspeech,2010. ^Y.LeCunetal.,"Gradient-basedlearningappliedtodocumentrecognition,"ProceedingsoftheIEEE,86(11),pp.2278–2324. ^T.Sainathetal.,"ConvolutionalneuralnetworksforLVCSR,"ICASSP,2013. ^G.E.Hintonetal.,"DeepNeuralNetworksforAcousticModelinginSpeechRecognition:Thesharedviewsoffourresearchgroups,"IEEESignalProcessingMagazine,pp.82–97,November2012. ^Y.Bengioetal.,"Advancesinoptimizingrecurrentnetworks,"ICASSP',2013. ^G.Dahletal.,"ImprovingDNNsforLVCSRusingrectifiedlinearunitsanddropout,"ICASSP',2013. ^49.049.149.2G.E.Hinton.,"APracticalGuidetoTrainingRestrictedBoltzmannMachines,"Tech.Rep.UTMLTR2010-003,Dept.CS.,Univ.ofToronto,2010. ^G.E.Hinton.,"Deepbeliefnetworks,"Scholarpedia,4(5):5947. ^H.Larochelleetal.,"Anempiricalevaluationofdeeparchitecturesonproblemswithmanyfactorsofvariation,"inProc.24thInt.Conf.MachineLearning,pp.473–480,2007. ^ConvolutionalNeuralNetwork.[2014-09-16].（原始内容存档于2020-10-29）.  ^HonglakLee;RogerGrosse;RajeshRanganath;AndrewY.Ng.Convolutionaldeepbeliefnetworksforscalableunsupervisedlearningofhierarchicalrepresentations.ICML'09.2009:609–616.  ^TIMITAcoustic-PhoneticContinuousSpeechCorpus LinguisticDataConsortium,Philadelphia. ^http://yann.lecun.com/exdb/mnist/（页面存档备份，存于互联网档案馆）. ^D.Ciresan,U.Meier,J.Schmidhuber.,"Multi-columnDeepNeuralNetworksforImageClassification,"TechnicalReportNo.IDSIA-04-12',2012. ^P.E.UtgoffandD.J.Stracuzzi.,"Many-layeredlearning,"NeuralComputation,14,pp.2497–2529,2002. ^J.Elman,etal.,"RethinkingInnateness,"1996. ^J.Shrager,MHJohnson.,"Dynamicplasticityinfluencestheemergenceoffunctioninasimplecorticalarray,"NeuralNetworks,9(7),pp.1119–1129,1996 ^SRQuartzandTJSejnowski.,"Theneuralbasisofcognitivedevelopment:Aconstructivistmanifesto,"BehavioralandBrainSciences,20(4),pp.537–556,1997. ^S.Blakeslee.,"Inbrain'searlygrowth,timetablemaybecritical,"TheNewYorkTimes,ScienceSection,pp.B5–B6,1995. ^{BUFILL}E.Bufill,J.Agusti,R.Blesa.,"Humanneotenyrevisited:Thecaseofsynapticplasticity,"AmericanJournalofHumanBiology,23(6),pp.729–739,2011. ^J.ShragerandM.H.Johnson.,"Timinginthedevelopmentofcorticalfunction:Acomputationalapproach,"InB.JuleszandI.Kovacs(Eds.),Maturationalwindowsandadultcorticalplasticity,1995. ^D.Hernandez.,"TheManBehindtheGoogleBrain:AndrewNgandtheQuestfortheNewAI（页面存档备份，存于互联网档案馆）,"Wired,10May2013. ^C.Metz.,"Facebook's'DeepLearning'GuruRevealstheFutureofAI（页面存档备份，存于互联网档案馆）,"Wired,12December2013. ^谷歌收购DNNresearch，下一个帝国呼之欲出.CSDN.2013-03-13[2014-07-20].（原始内容存档于2020-03-24）.  ^G.Marcus.,"Is"DeepLearning"aRevolutioninArtificialIntelligence?"TheNewYorker,25November2012. ^PaddlePaddle.[2017-07-21].（原始内容存档于2020-12-08）.  ^Caffe（页面存档备份，存于互联网档案馆） ^roNNie.[2018-05-02].（原始内容存档于2020-11-28）.  ^Mxnet.[2017-03-17].（原始内容存档于2017-08-18）.  外部链接[编辑] 来自蒙特利尔大学的深度学习信息[1]（页面存档备份，存于互联网档案馆） 杰弗里·辛顿的主页[2]（页面存档备份，存于互联网档案馆） 深度学习视频教程[3]（页面存档备份，存于互联网档案馆） 燕乐存的主页[4]（页面存档备份，存于互联网档案馆） 麻省理工大学生物和计算学习中心(CBCL)[5]（页面存档备份，存于互联网档案馆） 斯坦福大学提供的无监督特征学习和深度学习教程[6]（页面存档备份，存于互联网档案馆） 谷歌DistBelief框架[7]（页面存档备份，存于互联网档案馆） Theano深度学习工具包（使用Python）[8]（页面存档备份，存于互联网档案馆） Deeplearning4j开源深度学习工具包（使用Java）[9]（页面存档备份，存于互联网档案馆） NIPS2013会议（介绍深度学习相关资料）[10]（页面存档备份，存于互联网档案馆） 查论编机器學習同數據挖掘主題基本概念學習·運算學習論數學模型迴歸模型·人工神經網絡（深度學習）·決策樹·貝氏網路·支持向量機·關聯規則學習學習範式監督式學習·非監督式學習·強化學習·遺傳演算法主要應用統計分類·表徵學習·降維·聚類分析·異常檢測相關領域计算科學·人工智能·統計學·數據科學·计算机科學·信息与计算科学·神經科學·認知科學 查论编可微分计算概论 可微分编程 神经图灵机（英语：NeuralTuringmachine） 可微分神经计算机（英语：Differentiableneuralcomputer） 自动微分 神经形态工程（英语：Neuromorphicengineering） 模式识别 概念 梯度下降 电缆理论（英语：Cabletheory） 聚类分析 迴歸分析 過適 对抗机器学习（英语：Adversarialmachinelearning） 运算学习理论（英语：Computationallearningtheory） 注意力机制 卷积 損失函數 反向传播算法 激活函数 Softmax S型函数 线性整流函数 正则化 資料集 编程语言 Python Julia 应用 机器学习 人工神经网络 深度学习 科学计算 人工智能 深偽技術 硬件 TPU VPU（英语：Visionprocessingunit） 憶阻器 SpiNNaker（英语：SpiNNaker） 软件库 TensorFlow PyTorch Keras Theano 实现音频-视觉 AlexNet WaveNet 人體圖像合成 HWR OCR 语音合成 语音识别 人脸识别系统 AlphaFold DALL-E 语文 Word2vec Transformer BERT NMT 辩论者项目（英语：ProjectDebater） 沃森 GPT-3 决策 AlphaGo Q学习 SARSA OpenAIFive（英语：OpenAIFive） 自动驾驶汽车 MuZero 人物 AlexGraves（英语：AlexGraves(computerscientist)） 伊恩·古德费洛 约书亚·本希奥 杰弗里·辛顿 杨立昆 吴恩达 杰米斯·哈萨比斯 DavidSilver（英语：DavidSilver(computerscientist)） 李飛飛 机构 DeepMind OpenAI MITCSAIL Mila（英语：Mila(researchinstitute)） GoogleBrain FAIR（法语：FacebookArtificialIntelligenceResearch） 主题 计算机编程 技术 分类 人工神经网络 机器学习 取自“https://zh.100ke.info/w/index.php?title=深度学习&oldid=72559553” 分类：​机器学习人工神经网络深度学习隐藏分类：​引文格式1错误：已知参数被忽略CS1英语来源(en)含有英語的條目 导航菜单 个人工具 没有登录讨论贡献创建账号登录 命名空间 条目讨论 不转换 不转换简体繁體大陆简体香港繁體澳門繁體大马简体新加坡简体臺灣正體 查看 阅读编辑查看历史 更多 搜索 导航 首页分类索引特色内容新闻动态最近更改随机条目资助维基百科 帮助 帮助维基社群方针与指引互助客栈知识问答字词转换IRC即时聊天联络我们关于维基百科 工具 链入页面相关更改上传文件特殊页面固定链接页面信息引用本页维基数据项目 打印/导出 下载为PDF打印页面 在其他项目中 维基共享资源 其他语言 العربيةБългарскиবাংলাCatalàکوردیČeštinaDanskDeutschEnglishEspañolEestiEuskaraفارسیSuomiFrançaisעבריתՀայերենBahasaIndonesiaItaliano日本語한국어മലയാളംМонголBahasaMelayuNederlandsNorskbokmålOccitanPolskiPortuguêsRomânăРусскийSimpleEnglishSlovenščinaShqipСрпски/srpskiSvenskaதமிழ்ไทยTürkçeУкраїнськаTiếngViệtBân-lâm-gú粵語 编辑链接