5大关键步骤!如何构建深度学习模型? - 51CTO

文章推薦指數: 80 %
投票人數:10人

本文将详细讨论构建深度学习模型的五个基本步骤,以及如何使用这些步骤来处理各种深度学习项目。

内容精选话题直播技术期刊技术大会社区编辑申请我关注的话题我收藏的文章账号设置退出 注册/登录 5大关键步骤!如何构建深度学习模型? 作者:读芯术2020-12-2017:18:00人工智能深度学习本文将详细讨论构建深度学习模型的五个基本步骤,以及如何使用这些步骤来处理各种深度学习项目。

本文转载自公众号“读芯术”(ID:AI_Discovery)。

深度学习的关注度正持续上升,它是机器学习的一个子领域,基于人工神经网络的概念来执行特定任务。

然而在理论上,人工神经网络与人类大脑的运作方式并不相同,甚至都不相似! 它们之所以被命名为人工神经网络,是因为它们可以完成确切的任务,同时达到理想的精确度,而无需使用任何特定规则进行明确编程。

几十年前AI失败的主要原因是缺乏数据和计算能力。

经过数年时间,这一情况已显著改善。

基于大型科技巨头和跨国公司投资AI数据,数据的丰富程度已大大提高。

而鉴于图形处理单元(GPUs)功能强大,计算能力也不再是挑战。

本文将详细讨论构建深度学习模型的五个基本步骤,以及如何使用这些步骤来处理各种深度学习项目。

1.定义架构 深度学习是解决复杂任务的最优方法之一,例如图像分类或分割、人脸识别、目标检测、聊天机器人等。

但是,对于每一个复杂的项目,深度学习模型均需进行五个固定步骤以完成当前任务。

构建深度学习模型的第一步,也是最重要的一步就是成功定义网络和架构。

根据所执行任务的类型,一般倾向于使用特定类型的体系结构。

通常,对于计算机视觉任务,如图像分割、图像分类、面部识别和其他类似项目,首选卷积神经网络(CNNs)或ConvNets。

而对于自然语言处理和与文本数据相关的问题,递归神经网络(RNNs)和长短期记忆(LSTMs)更为可取。

在此步骤中,还可以决定整个深度学习架构的模型构建结构类型。

执行此操作的三个主要步骤是顺序模型(SequentialModels)、功能性API或用户定义的自定义架构。

下文将更详细地讨论每种方法。

2.编译模型 首选架构构建完成后,将继续进行构建模型的第二个步骤——编译模型。

编译步骤通常是TensorFlow深度学习框架中的一行代码,可以采用model.compile()函数进行编译。

在深度学习中,编译的要求是配置模型,以便成功完成拟合/训练过程。

正是在编译中,为评估程序定义了培训程序的一些关键组成部分。

列举一些必要参数,下一步需要分配损耗、优化器和指标。

损耗的种类取决于所遇问题的类型以及亟待解决的问题。

优化器通常是指用于计算的adam、RMSprop或类似优化器;指标是指用于分析的准确性度量或任何其他由用户定义的衡量标准。

3.拟合模型 图源:unsplash 成功定义整体架构并编译模型后,第三个逻辑步骤是在训练数据集上拟合模型。

拟合功能可在固定数量的周期(数据集上的迭代)内训练模型。

借助拟合功能,可以确定训练周期的数量、输入和输出数据、验证数据等重要参数。

拟合功能可用于计算和估算这些基本参数。

在培训过程中,必须持续评估拟合步骤。

重要的是要确保所训练的模型在提高准确性和减少整体损失的同时,运行良好。

同样重要的是,要考虑到该模型没有以任何方式被过度拟合。

为此,必须使用Tensorboard之类的工具进行持续评估,以分析各种图表,并了解这些模型是否有可能被过度拟合。

一旦训练完成并对固定数量的周期进行分析后,就可以继续进行第四个步骤——评估并使用训练好的模型进行预测。

4.评估和预测 评估深度学习模型是检验构建模型是否按预期工作的一个十分重要的步骤。

构建的深度学习模型在现实应用程序中可能运行不佳。

因此,评估深度学习模型变得至关重要。

评估深度学习模型的一个主要方法是,确保模型对预处理步骤开始时,将分割测试数据所做的预测考虑在内,以验证训练模型的有效性。

除测试数据外,还必须用可变数据和随机测试对模型进行测试,以查看其在未经训练的数据上的有效性,以及其性能效率是否符合预期要求。

假设我们建立了一个简单的人脸识别模型。

需考虑到该模型已使用图像训练过,并尝试在测试数据和实时视频录制中使用不同面孔评估这些图像,以确保训练的模型运行良好。

5.部署模型 部署阶段是构建任何模型的最后一步。

一旦成功完成模型构建后,如果想要保留模型或进行部署,以面向更广泛的受众,这便是一个可选的步骤。

部署方法各不相同,可以将其部署为跨平台传输的应用程序,也可以使用amazon提供的AWS云平台进行部署,或者使用嵌入式系统部署。

如果想要部署监控摄像头之类的东西,则可以考虑使用类似树莓派的嵌入式设备与摄像头模块共同执行此功能。

带有人工智能的嵌入式系统是部署物联网项目的常用方法。

使用flask、Django或任何其他类似框架构建深度学习模型后,也可以选择在网站上部署这些深度学习模型。

另一个有效部署模型的方法是为智能手机用户开发一个android或iOS应用程序,以覆盖更广泛的用户。

图源:unsplash 构建任何深度学习模型都需遵循这些步骤,至少包含前述五个中的四个。

对于新手或初级项目而言,部署步骤是可选步骤,但在相关行业和公司中,该步骤却是极其重要,不可或缺。

需要格外注意的是,在构建和使用深度学习模型前,必须考虑数据预处理、探索性数据分析以及其他强制性清理步骤。

模型的构建步骤必须在完成所有数据的预处理后才可以执行。

 责任编辑:赵宁宁 来源: 今日头条深度学习模型机器学习分享到微信微信扫码分享分享到微博相关推荐如何使用小数据集改进深度学习模型?本文将讨论在不用更多数据的情况下改进深度学习模型的四种方法。

2022-07-2208:00:00深度学习数据机器学习深度学习领域中常用的十种深度学习框架AI基础设施包括芯片和深度学习框架。

芯片是算力平台,深度学习框架相当于编程生产力平台,堪称人工智能的大脑和灵魂,被视为人工智能领域的操作系统。

2022-04-1723:09:07深度学习人工智能芯片训练好的深度学习模型原来这样部署的我们应用开发人员与数据科学家和IT部门合作,将AI模型部署到生产环境。

数据科学家使用特定的框架来训练面向众多使用场景的机器/深度学习模型。

2022-05-1010:19:04AI深度学习模型可视化深度学习模型架构的六个常用的方法总结本文将使用Keras和PyTorch构建一个简单的深度学习模型,然后使用不同的工具和技术可视化其架构。

2022-02-2100:05:25深度学习可视化工具如何通过7个步骤构建机器学习模型组织构建一个可行的、可靠的、敏捷的机器学习模型来简化操作和支持其业务计划需要耐心、准备以及毅力。

2020-11-1910:04:45人工智能KerasTensorFlow教程:如何从零开发一个复杂深度学习模型Keras是提供一些高可用的PythonAPI,能帮助你快速的构建和训练自己的深度学习模型,它的后端是TensorFlow或者Theano。

本文假设你已经熟悉了TensorFlow和卷积神经网络,如果,你还没有熟悉,那么可以先看看这个10分钟入门TensorFlow教程和卷积神经网络教程,然后再回来阅读这个文章。

2017-06-0610:14:55KerasTensorFlow深度学习用Java训练深度学习模型,原来可以这么简单!很长时间以来,Java都是一个很受企业欢迎的编程语言。

得益于丰富的生态以及完善维护的包和框架,Java拥有着庞大的开发者社区。

尽管深度学习应用的不断演进和落地,提供给Java开发者的框架和库却十分短缺。

2020-11-0214:38:56Java深度学习模型如何使用TensorFlow构建机器学习模型在这篇文章中,我将逐步讲解如何使用TensorFlow创建一个简单的机器学习模型。

2021-11-0209:40:50数据不够怎么训练深度学习模型?不妨试试迁移学习随着深度学习技术在机器翻译、策略游戏和自动驾驶等领域的广泛应用和流行,阻碍该技术进一步推广的一个普遍性难题也日渐凸显:训练模型所必须的海量数据难以获取。

本文是一些当前比较流行的机器学习模型和其所需的数据量,可以看到,随着模型复杂度的提高,其参数个数和所需的数据量也是惊人的。

2017-02-0817:29:17PyTorch指南:17个技巧让你的深度学习模型训练变得飞快!如果你正在pytorch中训练深度学习模型,那么如何能够加快模型训练速度呢?在本文中,我会介绍一些改动最小、影响最大的在pytorch中加速深度学习模型的方法。

2021-01-2710:46:07Pytorch深度学习模型训练深度学习的三个主要步骤!本文详细介绍了使用深度学习技术的三大主要步骤:神经网络(Neuralnetwork),模型评估(Goodnessoffunction),选择最优函数(Pickbestfunction)。

2021-08-1911:22:22深度学习也能不玩大数据?小企业训练大模型有新解人工智能的目标是让机器像人类一样“思考”和“行动”,机器学习是是实现这一愿景的重要方法,深度学习则是机器学习的重要分支。

2022-02-1110:46:25生产环境中轻松部署深度学习模型将经过训练的神经网络部署到应用程序和服务中可能会给基础设施经理带来挑战。

多个框架、未充分利用的基础设施和缺乏标准实施,这些挑战甚至可能导致AI项目失败。

本文探讨了如何应对这些挑战。

2019-08-0808:00:00详解六大主流深度学习框架近几年,随着深度学习的爆炸式发展,相关理论和基础架构得到了很大突破,它们奠定了深度学习繁荣发展的基础。

这其中涌现了几个著名的深度学习平台,本文将对这些平台进行简要介绍。

2022-02-2520:44:28框架深度学习架构手把手:我的深度学习模型训练好了,然后要做啥?本文讲的是如何快速而不求完美地部署一个训练好的机器学习模型并应用到实际中。

2018-02-0714:19:16如何从零开始构建深度学习项目?这里有一份详细的教程在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。

本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。

2018-04-1914:42:48用深度学习快速人脸建模脸部建模一直是计算机图像和视觉领域的热门话题,包括卡通人物建模、人脸艺术设计、人脸实时重构等等,尤其是交互式人脸建模。

我们构建了一个快速的、交互的、基于深度学习的人脸建模框架。

通过简单勾勒人脸图画(caricature),我们的模型可以迅速生成对应的三维人脸模型,并且可以同时拟合面部轮廓和细节表情。

同时我们也提供了多种方式进行快速的模型修改。

实验证明我们的结果具有高精度和快速度。

2017-05-2714:00:06深度学习人脸建模深度学习入门篇——手把手教你用TensorFlow训练模型Tensorflow在更新1.0版本之后多了很多新功能,其中放出了很多用tf框架写的深度网络结构(https://github.com/tensorflow/models),大大降低了开发难度,利用现成的网络结构,无论fine-tuning还是重新训练方便了不少。

2017-10-1809:48:13深度学习TensorFlow入门篇无需深度学习框架,如何从零开始用Python构建神经网络作者根据自己从零开始学习用Python构建神经网络的经验,编写了一份攻略。

内容涵盖神经网络定义、损失函数、前向传播、反向传播、梯度下降算法,对于想要了解深度学习运作原理的各位来说,内容精彩不可错过。

2018-05-2813:12:492019年较热门的5大深度学习课程今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

2019-09-2605:16:24深度学习数据科学神经网络相似话题机器学习1470内容算法1267内容自然语言处理73内容语音识别76内容全部话题同话题下的热门内容如何使用小数据集改进深度学习模型?编辑推荐为什么大家都不戳破深度学习的本质?!一文搞懂RNN(循环神经网络)基础篇神经网络训练中,傻傻分不清Epoch、BatchSize和迭代CVPR2017论文解读:特征金字塔网络FPN超实用的图像超分辨率重建技术原理与应用相关专题更多创想无限!华为开发者大赛报名开启Commvault:数据为始,赋能创新!加速企业数字化转型2022-07-2313:52:13IBM赋能企业构建可持续发展的数字化战略2022-07-2313:52:13我收藏的内容微博QQ微信复制链接微信扫码分享AISummit人工智能大会AISummit人工智能大会 业务 速览 在线客服媒体51CTOCIOAgeHC3i社区51CTO博客开源基础软件社区教育51CTO学堂精培企业培训CTO训练营



請為這篇文章評分?