表示学习（特征学习）_zlinzju的博客 - CSDN博客

文章目录表示学习特征工程与表示学习深度学习的表示学习注：深度学习不等于多层神经网络什么时候用「手工提取」什么时候用「表示学习」？关于特征表示 ... 表示学习（特征学习） zlinzju 于 2020-03-0116:28:42 发布 10842 收藏 84 分类专栏： 深度学习 project 版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_43026262/article/details/103980616 版权 深度学习 同时被2个专栏收录 6篇文章 0订阅 订阅专栏 project 11篇文章 1订阅 订阅专栏 文章目录 表示学习特征工程与表示学习深度学习的表示学习注：深度学习不等于多层神经网络什么时候用「手工提取」什么时候用「表示学习」？ 关于特征表示学习的算法 参考资料 表示学习 表示学习的基本思路，是找到对于原始数据更好的表达，以方便后续任务（比如分类）。

机器学习中，同样的数据的不同表达，会直接决定后续任务的难易程度（换言之，表示方法的选择通常依赖于后续任务的需求），因此找到好的数据表示往往是机器学习的核心任务。

特征工程与表示学习 机器学习一般有两种思路来提升原始数据的表达[1]： 特征学习(featurelearning)，又叫表示学习(representationlearning)或者表征学习，一般指模型自动从数据中抽取特征或者表示的方法，是模型自动学习的过程；特征工程(featureengineering)，主要指对于数据的人为处理提取，得到我们认为的适合后续模型使用的样式，是人工提取的工程（狭义的特征工程指的是“洗数据”：处理缺失值，特征选择，维度压缩等各种预处理手段，但从更广义的角度看，这些处理是为了使得数据有更好的表达以便后续应用） 传统的机器学习方法主要依赖人工特征处理与提取，而深度学习则依赖模型自身去学习数据的表示（自动抽取有效特征）。

深度学习的表示学习 输入数据经过层层网络，依次被抽取出了低级特征（lowlevelfeatures）比如边缘色度，中级特征（middlelevelfeatures）比如纹理角点，和高级特征比如图形，然后把高度抽象化的高级特征交给最后的分类器层进行预测，从而得到分类结果。

深度网络最后一层一般就是个线性分类器，比如softmax线性回归分类，深度神经网络的其他部分可以看做是为最后一层的分类器提供表征。

通过层层网络抽取高度抽象化的特征，最终目的是为了帮助分类器做出良好的预测：最开始输入网络的特征可能是线性不可分的，但是到最后隐藏层时变得线性可分了。

如果只看分类器层的话深度学习和其他机器学习没有太大差别，正是前面层层网络良好有效的抽取特征的能力使得深度学习脱颖而出[1]。

注：深度学习不等于多层神经网络 传统意义上的多层神经网络只有输入层，隐藏层，输出层。

其中隐藏层的层数根据需要而定。

“深度学习的网络结构”广义上就属于多层神经网络，只是更深更复杂。

而"深度学习"是为了让层数较多的多层神经网络可以训练、能够work而演化出来的一系列的新的结构和新的方法[2]。

新的网络结构中最著名的就是CNN，它在多层神经网络的基础上，加入了“卷积层“进行特征学习，符合人脑对视觉任务的处理方式；并且其“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量，解决了传统较深的网络参数太多难以训练的问题。

新的结构还包括了：LSTM，ResNet等。

新的方法就多了：新的激活函数（ReLU），新的权重初始化方法（逐层初始化，XAVIER等），新的损失函数，新的防止过拟合方法（Dropout,BN等）。

这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。

什么时候用「手工提取」什么时候用「表示学习」？ 一般来说，要想构造良好的特征工程，需要深刻理解数据和问题；要想自动学习到数据的良好表达，就需要大量的数据。

因此选择的过程其实也是在衡量我们对于问题及数据的理解是否深刻，是人类先验与数据量之间的一场博弈。

一般来说，「特征工程」往往在中小数据集上表现良好，而「表示学习」在大量复杂数据上更有用武之地。

当数据量不大且对数据充分理解时，特征工程比较合适，这在kaggle竞赛中很常见。

而当数据量较大或者我们的先验理解有限时，可尝试表示学习，比如神经网络。

另外，表示学习的另外一个好处是高度抽象化的特征可以通过迁移学习用在其他相关的问题上[1]。

不管是特征工程还是表示学习，我们衡量它们作用的一个标准就是看后续的学习任务是否能够得益于这种表示。

关于特征 给出一张猫的图片，我们的大脑是怎么识别出这是一只猫的呢？通过眼睛，耳朵，嘴巴，尾巴，腿，或是这些的组合？这里的“耳朵，嘴巴，尾巴"等等就是我们用来判断的"特征"，大脑的神经元迅速完成了一系列复杂的运算，最后得出结论这是猫。

再比如“四条边，等长，直角”这些稍低级的特征可被大脑用来识别正方形。

但对于计算机而言，图片只是一堆数字而已，比如800600的彩色图片就是一个8006003的矩阵（灰度图则为800600的矩阵），矩阵里相应元素的值就代表着像素值（像素值也是人为创造的概念，对计算机来说这就只是个数字）。

那么什么样的数字代表“猫的眼睛”，什么样的数字代表“猫的耳朵”呢？如果采用特征工程，就需要理解数据并且人为定义规则来提取特征，比如定义连续5个像素（1,34,67,89,213）则代表猫尾，…，当然定义的规则，和提取特征的好坏，非常影响最终的分类结果[3]。

我们可以利用像素和邻域像素之间的差异，设计卷积核来提取图像的局部特征。

经过不同卷积核的卷积运算后，可以起到不同的作用，比如高斯平滑卷积核可以被看做每个像素被其邻居像素平均（边缘模糊），见上图；而边缘检测的卷积核，就是将每个像素和其邻域像素做差值，如下图再比如识别一个曲线，可以按照曲线的形状走向设计卷积核的形状，在遇到类似图像的时候，卷积运算后的数值会很大（对应位置像素值相乘后相加），反之很小，即可识别想要的形状。

注：卷积运算其实就是向量的内积运算。

内积是衡量两个向量之间的相似性的，所以卷积核在图像某一区域的卷积实际上就是这个卷积核与图像该区域的相似性。

一个卷积核探索一种相似性，多个卷积核探索多个相似性。

卷积核作用在同一样本的不同位置上（即卷积核在整张图上共享：权值共享）那么kernel探索的就是不同位置共有的局部特征，即局部特征的平移不变性。

卷积核作用在不同的样本上，那么kernel探索的是样本数据共有的局部特征。

以上也是卷积核又称为滤波器或者模板的原因[4]。

传统的图像处理，就是人工设计好了不同的卷积核（滤波器）去提取不同特征，常见的滤波器：高通、低通、高斯模糊、SOBEL查找边缘…是白盒。

但非常依赖经验，提取规则只适用特定数据和问题，对于某些任务，特征并不单一和具体，很难设计适合的滤波器。

比如计算机视觉领域的目标检测：想要设计一个卷积核检测眼睛位置，但是不同的人，眼睛大小状态是不同的，如果卷积核太过具体化，卷积核代表一个睁开的眼睛特征，给出一张图片的眼睛是闭合的，就很大可能检测不出来。

对于这种问题，我们如何设计卷积核呢，即，如何确定卷积核的值呢？ 深度学习可以自动寻找合适的卷积核来完成特征提取（卷积核的固定值被替换为参数来求解），得到的“滤波器”是黑盒，神经网络不需要理解数字代表的业务含义，它只需要尝试找到最合适的卷积核等各种参数，使得在给定数据上loss最小就可以了（求解卷积核参数的过程涉及到损失函数，梯度下降，反向传播等：使得最终的卷积核，通过它提取出来的特征，能够使预测得到的结果和真值尽可能接近）。

当然了，虽然深度学习的过程不要人为理解数字背后的业务含义，但实际上深度学习得到的特征是具有一定语义的：学习到的低级特征可视化后得到一些点，线，方向，颜色等等，中级特征可视化后可能是一些轮廓形状，角点等等，高级特征就更加抽象了甚至有时人类并不能理解。

这也是迁移学习和fine-tune存在的基础，一个经过大型图像数据集如ImageNet训练过的大规模CNN，因为前面几层已经通过训练得到了丰富的底层细节信息，所以只需要在新数据集上训练上层网络（对低级特征的组合信息）以及最后的分类器层即可，完全不需要从头再来[4]。

小结，深度学习并不“理解”所识别物体的外观/纹理/颜色等“特征”…它只是能够根据这些本质仍为数字的“特征”，进行分类/分割/…任务。

它们所做的实际就是两件事情：将（输入）视觉空间分解为卷积滤波器的分层模块化网络（类似于人类视觉皮层系统）；将这些滤波器的某些组合与给定标签之间建立概率映射[5]。

表示学习的算法 大致包括： 深度学习，包括大部分常见的模型如CNN/RNN/DBN/GCN等某些无监督学习算法，如主成分分析(PCA)及自编码器（autoencoder）通过对数据转化而使得输入数据更有意义某些树模型可以自动的学习到数据中的特征并同时作出预测 深度神经网络的最后一层一般都是一个线性分类器，其他层则可看成是在给这个线性分类器提供特征，所以最后一层之前的隐藏层都可被理解为是表征学习，在上一节中有更具体的描述。

在深度学习大幅发展之前，无监督学习是很好的表征学习的工具，精髓是学习从“高维观察”到“低维表征空间”的映射，使得可通过低维的表征（近似地）重建出原来的观察，比如PCA的映射空间就保证了原空间的多样性。

自编码器是一种无监督的神经网络，它与PCA很相似，需要最小化和PCA一样的目标函数，但相比于PCA只能执行线性变换，自动编码器既能表征线性变换，也能表征非线性变换。

因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络[6]。

参考资料 [1]「特征工程」与「表示学习」-微调的文章-知乎[2]深度学习和多层神经网络的区别?-知乎[3]深度学习的一些思考[4]cnn本质[5]Howconvolutionalneuralnetworksseetheworld–TheKerasBlog[6]自动编码器 zlinzju 关注 关注 18 点赞 踩 1 评论 84 收藏 打赏 扫一扫，分享内容 点击复制链接 专栏目录 深度学习中的表示学习_RepresentationLearning 爱吃鱼的猫 10-16 1万+ 一、深度学习网络的表达方式汇总及模型分类方法 人的大脑会对眼睛捕捉到的外界事物进行逐级抽象，逐渐提取出抽象的语义信息，以便为人脑所理解。

深度学习从这一科学发现得到启发，通过网络的权值来捕捉外界输入模式的特征，并且通过网络连接方式来组合这些特征从而提取出更加高层特征，采用这种方法逐级从大量的输入数据中学习到对于输入模式有效的特征表示，然后再把学习到的特征用于分类、回归和信息检索。

深度学习能够提取输... 表示学习(RepresentationLearning) 热门推荐 汤庆 05-10 3万+ 一、前言 2013年，Bengio等人发表了关于表示学习的综述。

最近拜读了一下，要读懂这篇论文还有很多文献需要阅读。

组会上正好报了这篇，所以在此做一个总结。

二、表示学习发展由来 当我们学习一个复杂概念时，总想有一条捷径可以化繁为简。

机器学习模型也不例外，如果有经过提炼的对于原始数据的更好表达，往往可以使得后续任务事倍功半。

这也是表示学习的基本思路，即找到对... 评论 1 您还未登录，请先 登录 后发表或查看评论 特征学习 机器学习算法与Python学习 02-21 2301 如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。

机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据”。

特征学习算法 weixin_43786241的博客 09-05 1065     类似于机器学习，特征学习可以被分为两类：监督式特征学习（SupervisedRepresentationLearning）和无监督式特征学习（UnsupervisedRepresentationLearning）。

监督式特征学习 被标记过的数据被当做特征用来学习。

例如神经网络（NeuralNetworks），多层感知器（Multi-LayerPerception），监督字典学习（SupervisedDictionaryLearni 表示学习与深度学习 qq_40345544的博客 10-23 1067 1、表示学习 首先给出表示学习的定义： 为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征，或者更一般性称为表示（Representation）。

如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就是可以叫做表示学习（RepresentationLearning）。

表示学习的关键是解决语义鸿沟（SemanticGap）问题。

语义鸿沟问题是指输... 表征学习学习 qq_33654685的博客 01-06 1370 作者：宣廷S 链接：https://www.zhihu.com/question/37162929/answer/791539000 来源：知乎 著作权归作者所有。

商业转载请联系作者获得授权，非商业转载请注明出处。

什么是表达学习？为什么要表达学习？ 机器学习算法的成功与否不仅仅取决于算法本身，也取决于数据的表示。

数据的不同表示可能会导致有效信息的隐藏或是曝露，这也决定了算法是不是能直截了... 特征学习：学习之海中的遗珠 昔风不起，唯有努力生存！ 11-27 234 特征学习属于特征工程范畴，它是获取将数据转换到新空间的模型的算法。

什么是表征学习？ 种花家的奋斗兔的博客 12-21 6269 在机器学习中，特征学习或表征学习[1]是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。

它避免了手动提取特征的麻烦，允许计算机学习使用特征的同时，也学习如何提取特征：学习如何学习。

机器学习任务，例如分类问题，通常都要求输入在数学上或者在计算上都非常便于处理，在这样的前提下，特征学习就应运而生了。

然而，在我们现实世界中的数据例如图片，视频，以及传感器的测量值都非常... 机器学习基础--各种学习方式（22）--表征学习 wydbyxr的博客 07-28 4172 表征学习/表示学习（representationlearning） 　　在欧几里德空间（例如，ℝnRn中的向量空间）中是否存在一种符号属性，可以表示出（任意构建的）原始对象？这被称为表征学习（representationlearning）。

　　例如我们希望找到城市的向量表示，从而可以进行这样的向量运算：罗马-意大利+法国=巴黎。

　　机器学习旨在自动地学到从数据的表示（r... 特征学习(Self_taughtLearning) whiteinblue的专栏 03-20 5402 简介       如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。

机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的数据。

”    在自学习和无监督特征学习问题上，可以给算法以大量的未标注数据，学习出较好的特征描述。

在尝试解决一个具体的分类问题时，可以基于这些学习出的特征描述和任意的（可能比较少的）已标注数据，使 特征表示：特征选择、特征抽取（方法概述） bingfeiqiji的博客 03-25 3593 以前一说数据降维，立马想到了主成分分析，最多加上个因子分析。

因为是偏统计一点的。

要是在多说，可能就不知道了。

今天看到了别人的总结，要记下来以供以后参考。

主成分分析：主成分分析应该是应用最广的数据降维方法了；而且各个软件基本上都能做，算法不难，自己编写也可以，但是这里注意一下，亲测，一些软件的PCA算出来的数，和自己编的不一样，因为我写方差的时候用的是,这里学过数理统计的人应该知道这是因为为... 第一章表示学习 dangyang123的博客 04-04 163 表示学习 ????为了提高机器学习系统的准确率，需要将输入信息转换为有效的特征，或者更一般地称为表示（Representation）。

如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫做表示学习（RepresentationLearning）。

【特征学习（FeatureLearning），又叫表示学习（RepresentationLearning）或者表征学习。

】 语义鸿沟问题是指输入数据的底层特征和高层语义信息之间的不一致性和差异性。

【表示学习的关键 机器学习基础学习笔记（一） exsolar_521的博客 07-17 967 声明：笔记均来源于邱锡鹏[email protected]的《神经网络与深度学习》一书，开源资源见:https//nndl.github.io/nndl-book.pdf 一.绪论 基本的深度学习相当于函数逼近问题，即函数或曲面的拟合，所不同的是，这里用作基函数的是非线性的神经网络函数，而原来数学中用的则是多项式、三角多项式、B-spline、一般spline以及小波函数等的线性组合。

由于神经网络的非线性和复杂性（要用许多结构参数和连接权值来描述），它有更强的表达能力，即从给定的神经网络函数族中可能找到 文本分类中的文本特征表示 u014535908的博客 01-11 1万+ Introduce 文本话题分析文本分类的一个应用领域，主要是针对文本表现的主题的划分。

目前，针对文本话题分类的研究还是很热的，主要包括微博，知乎等大型话题社区，论坛类网站。

之前知乎针对该问题在著名的机器学习比赛网上，还开展了比赛，有关技术和code有很多。

文本话题分析主要是应用是对文本进行领域划分、个性化推荐、社交网络、广告预测等各个领域等。

而特征选择会对分类结果产生极大的影响。

因此， 表征学习RepresentationLearning（特征学习、表示学习）是什么？ Dontla的博客 02-28 9390 在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。

在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manualfeaturelearning）等技术从原始数据的领域知识（domainknowledge）建立特征，然后再部署相关的机器学习算法。

虽然手动特征工程对于应用机器学习很有效，但它同时也是很困难、很昂贵、很耗时、并依赖于强... 知识图谱研究最新综述论文:表示学习、知识获取与应用 fkyyly的专栏 11-13 1976 导读】知识图谱一直是学术界和工业界关注的焦点。

最近ShaoxiongJi,ShiruiPan,ErikCambria,PekkaMarttinen,PhilipS.Yu等学者发表了关于知识图谱的最新综述论文《ASurveyonKnowledgeGraphs:Representation,AcquisitionandApplications》，25页pdf涵盖107篇参考文献，对知识图谱进行了全面的综述，涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方 表征学习 weixin_44523062的博客 02-29 1455 概念： 表征学习允许计算机学习使用特征的同时，也学习如何提取特征：学习如何学习。

在机器学习任务中，输入数据例如图片、视频、语言文字、声音等都是高维且冗余复杂，传统的手动提取特征已变得不切合实际，所以需要借助于优秀的特征学习技术。

另一番解释 1.所谓“表征学习法”，就是用学到的知识至少完成一件事情。

2.学习的本质是“存储”和“提取”。

“存储”是把知识组块存储进长时工作记忆系统的能力。

“提取”是把... 机器学习——基本原理 最新发布 weixin_43899645的博客 04-20 1138 一、芒果的例子 在我们第一次买芒果的时候，并不知道什么样的芒果甜，什么样的芒果口感好，但是对于一个天天吃芒果的人，他肯定知道什么品牌，颜色，大小，品种的芒果好吃，天天吃芒果的人通过每天买的芒果，根据芒果的特征逐渐找到对应的规律，在下一次买芒果的时候就可以通过自己总结出来的归路来判断芒果是否甜，计算机的学习过程也是如此，只有通过获得大量的数据，找到最合适的函数，然而计算机本身不会找规律（函数），我们需要假设一些函数，让计算机一个一个去尝试，最后找到一个最接近真实规律的函数。

这些假设的函数合集被称为假设空间，而 《特征工程入门与实践》---特征学习 xu_aml的博客 02-13 453 《特征工程入门与实践》—特征学习 以AI促AI 吐血整理 《特征工程入门与实践》这本书之前已经看了一遍，这次打算从总结的角度从后往前再读此书，重点在梳理框架，区分不同，标注必须要掌握的基本代码。

一、首先是特征理解，从以下几点切入特征理解： 结构化数据与非结构化数据 数据的四个等级 识别数据的缺失值 探索性数据分析 描述性统计 数据可视化 二、接着是特征增强：清洗数据 对非结构化数据进行结构化 数据填充–填充缺失数据 数据归一化 标准化（z分数标准化） min-max标准化 L1和L2正则化（将数 “相关推荐”对你有帮助么？ 非常没帮助 没帮助 一般 有帮助 非常有帮助 提交 ©️2022CSDN 皮肤主题：技术工厂 设计师：CSDN官方博客 返回首页 zlinzju CSDN认证博客专家 CSDN认证企业博客 码龄4年 暂无认证 81 原创 7万+ 周排名 65万+ 总排名 12万+ 访问 等级 1883 积分 66 粉丝 184 获赞 36 评论 876 收藏 私信 关注 热门文章 [python]List添加元素的4种方法 17946 表示学习（特征学习） 10812 DecisionTreeClassifier实例：Iris莺尾花分类 8331 JupyterNotebook修改默认的工作目录 7948 Win10下Anaconda3安装KerasTensorflow（2019.11更新） 6741 分类专栏 前端React 面经 深度学习 6篇 计算机基础 8篇 pytorch 机器学习 6篇 数据结构和算法 10篇 剑指offer 14篇 leetcode 5篇 Python 25篇 Keras 6篇 sklearn 3篇 project 11篇 环境配置 7篇 随记 1篇 最新评论 迁移学习中的特征提取 Melissa_Jin_: 您好，同求一份源代码 JupyterNotebook修改默认的工作目录 Firmin123456: 来自两年后的感谢 win10安装tensorflow-gpu和keras Expectedfuture: 写的真不错，亲测可行 深度学习中GPU和显存分析 富婆分婆的戏精本精: 有得，这么好的文章 理解3D卷积 大猩猩银背: "由于3D卷积中的卷积核是3D的，因此在每个channel下使用的是同样的参数，权重共享"???，不应该和2D卷积一样吗？每个通道都单独对应一个卷积核，权重应该不一样 您愿意向朋友推荐“博客详情页”吗？ 强烈不推荐 不推荐 一般般 推荐 强烈推荐 提交 最新文章 【数据库】范式事务隔离级别视图查询优化 【三】操作系统-调度 【二】操作系统-进程/线程 2020年62篇 2019年21篇 2018年1篇 目录 目录 分类专栏 前端React 面经 深度学习 6篇 计算机基础 8篇 pytorch 机器学习 6篇 数据结构和算法 10篇 剑指offer 14篇 leetcode 5篇 Python 25篇 Keras 6篇 sklearn 3篇 project 11篇 环境配置 7篇 随记 1篇 目录 评论 1 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 打赏作者 zlinzju 你的鼓励将是我创作的最大动力 ¥2 ¥4 ¥6 ¥10 ¥20 输入1-500的整数 余额支付 (余额：--) 扫码支付 扫码支付：¥2 获取中 扫码支付 您的余额不足，请更换扫码支付或充值 打赏作者 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。

2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值