深度学习一般工作流程

一、定义问题，收集数据集。
注意确保数据集特征丰富程度足以作出预测
二、定义模型预测性能指标
平衡分类问题常用精度、接受者操作特征曲线下面积；
不平衡分类问题常用精度和召回率；
标量回归常用平均绝对误差（MAE）等等。
三、确定模型评估方式
如：留出法、K折交叉验证、乱序重复K折交叉验证
四、数据预处理
预处理目标：
1、特征值为张量数据
2、特征取值较小（0-1区间或正负1区间）
3、特征非异质数据
4、特征缺失处理为0
五、搭建模型
1、确定激活函数、损失函数

激活函数与损失函数
①在选择激活函数时，一般隐层选择 Leak ReLU 函数会得到较为理想的效果。
当然这不是恒定的规律，我们可以尝试使用 Sigmoid 函数作为隐层激活函数，但注意使用时尽量不要超过太多隐层。
②另外可以使用 Tanh 函数来代替 Sigmoid 函数观察模型的精确率曲线图。
如果直接使用 ReLU 函数作为激活函数，注意梯度下降算法的学习率参数不能设置得过高，避免神经元的大量“消亡”。
③对于输出层，一般使用 softmax函数获得同分布最高概率作为输出结果。
④ 此外，可以加入 Batch Normalization (BN)层，让下一层的输入数据具有相同的分布。如果遇到神经网络训练时收敛速度慢，或梯度爆炸或者梯度消失等无法训练的状况都可以尝试加入 BN层，然后观察其训练结果。
2、从简单结构开始逐步扩大模型规模
3、考虑正则化和dropout
六、交叉验证
在验证集上多次训练，找到最佳性能的模型结构
七、测试集验证
注意：测试集性能和验证集性能相差较大，考虑采用更复杂的验证方法，如乱序重复K折交叉验证

深度学习一般工作流程相关推荐

方法 | 机器学习(深度学习)通用工作流程
机器学习(深度学习)通用工作流程 Deep Learning with Python 4.5节 1. 定义问题并装载数据集(Defining the problem and assembling a ...
机器学习(深度学习)通用工作流程
机器学习(深度学习)通用工作流程翻译 Deep Learning with Python 4.5节 1. 定义问题并装载数据集(Defining the problem and assembling ...
caffe模型文件解析_深度学习 Caffe 初始化流程理解（数据流建立）
深度学习 Caffe 初始化流程理解(数据流建立) 之前在简书的文章,搬迁过来 ^-^ 本文是作者原创,如有理解错误,恳请大家指出,如需引用,请注明出处. #Caffe FeatureMap数据流的建 ...
深度学习的工作原理学习方式
14天学习训练营导师课程: 李立宗<讲给入门者的深度学习> 工作原理以培育水稻为例,影响水稻生长的因素包括:施肥量.灌溉量.施肥时间.插秧密度等. 想要获得影响生长因素的各项参数的最优值 ...
0基础怎样理解深度学习的工作原理？做个票价预测工具就懂了
原作:Radu Raice 安妮编译自 Medium 量子位出品 | 公众号 QbitAI 这篇文章颇!具!人!气! 软件工程专业的学生Radu Raice近日发表了文章<Want to k ...
一文带你深入了解，什么是深度学习及其工作原理
作者 | CraigStedman 编译 | CDA数据科学研究院深度学习是机器学习(ML)和人工智能(AI)的一种,它模仿人类获取某些类型的知识的方式.深度学习是数据科学的重要元素,其中包括统计 ...
图深度学习前沿工作汇总与解析
图深度学习除了可以应用于标准图推理任务以外,还广泛应用于推荐.疾病或药物预测.自然语言处理.计算机视觉.交通预测等领域. 可见,基于图的深度学习不仅有助于挖掘现有图数据背后的丰富价值,而且还通过将关系 ...
TX2 创建自己的深度学习环境全流程向攻略（一）TX的刷机与必要依赖库的安装
由于毕业设计的需要,需要在Nvidia的TX2的嵌入式平台上实现自己的深度学习代码来满足自己的毕业设计要求.幸好Nvidia公司的TX2嵌入式平台本来就是为了搭载神经网络的框架模型,虽然还没到代码调试 ...
深度学习最新工作CookNet
1. 背景介绍随着深度学习研究的深入,神经网络已经可以完成各种任务,例如图像分类,实例分割,自然语言处理.然而目前神经网络的设计需要大量的代码工作和文献阅读,因此本文认为提高神经网络的效果需要同时关 ...

深度学习一般工作流程

深度学习一般工作流程相关推荐

最新文章

热门文章