2022.02.16【读书笔记】|基于深度学习的生命科学 第2章 深度学习概论（下）
- 训练模型
- 训练集：用来训练模型的一组数据
- 损失函数
- y是实际输出，Y是训练集中给定的目标值，L(y_i,Y_i)L(yi,Yi)L(y_i,Y_i)L(yi,Yi)越小，说明模型对训练集的识别准确度越高（可能发生过拟合问题）
- 为每个问题选择一个适当的损失函数，一般选择是使用欧式距离。
- 如果y表示概率分布时，损失函数长选择交叉熵函数
- 改进模型，寻找使平均损失最小化的参数值
- 梯度下降算法
- \theta ← \theta-\epsilon\frac{\delta}{\delta \theta}<L>θ←θ−ϵδδθ<L>\theta ← \theta-\epsilon\frac{\delta}{\delta \theta}<L>θ←θ−ϵδθδ<L>
- L为平均损失，\epsilonϵ\epsilonϵ为学习率，决定每个步骤的参数变化程度，需要谨慎选择：太小会导致学习速度非常慢，太大则会阻碍算法的学习。
- 局限性：梯度下降的每一步都要便利训练集中的每一个样本，意味着训练模型所需时间与训练集大小成正比。
- 随机梯度下降（SGD）
- 通过对更少的样本进行平均来估计，对于每一步，算法从训练集中取一小组样本（批次），并计算损失函数的梯度，仅对该批次中的样本求平均值。
- 局限性：因为SGD基于梯度的噪音估计，而不是真正基于梯度的方法，所以每一步在减少损失时都是次优的。
- 两种流行的优化算法：
- Adam
- RMSProp
- 梯度下降算法
- 验证
- 测试集：第二个数据集，与训练集完全相同的形式，且没有任何相同的样本。
- 原则：设计或训练模型时，不得以任何方式使用测试集。（否则会出现过拟合问题）
- 正则化
- 目的：避免过拟合问题。
- 训练集越大，尽管可以更好地表示“真实”的数据分布，但搜集难度、成本都会产生阻碍
- 正则化是一个相对概念，算法只能尽可能满足训练集的输出结果，并不清楚训练集和测试集的区别，也不清楚你想要的要求。
- 本质：使训练过程更偏向于某些类型的模型（你期望的），而偏离其他类型的模型（算法以为的）
- 常用方法
- 使用更少的步骤训练模型：获取粗属性
- 限制模型中的参数大小
- 剪枝（dropout）：对于模型中的每个隐藏层，随机选择其输出向量h_ihih_ihi中的一个元素子集设置为0，迫使模型往你想要的方向学习。
- 超参数优化
- 常用超参数
- 模型图层数
- 每层的宽度
- 执行的训练步骤数
- 训练期间使用的学习率
- 使用dropout时要设置为0的元素部分
- 优化方式：尝试不同的组合
- 判定优化有效性：
- 产生的损失函数值是否更小，需要注意是否过度拟合（剪枝率，低误差）
- 具体优化步骤：
- 1.对于每组超参数值，在训练集上训练模型，然后计算在验证集上的损失
- 2.无论那一组超参数只要在验证集上损失最小，都将他们作为最终模型
- 3.在测试集中评估最终的模型，以得到一个无偏的度量方法来衡量它的工作情况
- 常用超参数
- 其他类型的模型（略）
- 卷积神经网络（CNN）
- 递归神经网络（RNN）
- 书中没有区分循环神经网络与递归神经网络，此处略过
- 欢迎大家加VX：bbplayer2021 （木青）进群交流，备注 申请加入生信交流群。
- 卷积神经网络（CNN）
2022.02.16【读书笔记】|基于深度学习的生命科学 第2章 深度学习概论（下）相关推荐
- 2022.02.14【读书笔记】|基于深度学习的生命科学 第2章 深度学习概论（上）
传统方法是亲手设计一个函数,从分析问题开始,根据编写计算机代码来识别特征,并可靠地生成结果:机器学习采用完全不同的方法,不需要手动设计函数,而是允许计算机根据数据学习自己的函数. 线性模型(感知器) ...
- [读书笔记]《算法竞赛入门经典》第1章
书名:算法竞赛-入门经典 第2版 作者:刘汝佳 类别:读书笔记 文章目录 前言 第1章 程序设计入门 1.1 算术表达式 1.2 变量及其输入 1.3 顺序结构程序设计(Sequential Prog ...
- 读书笔记 计算机系统--系统架构与操作系统的高度集成 第一章概叙
大二下开始意识到计算机基础的重要性,就去图书馆随缘找了一本机械工业出版社的大部头书籍开始看, 也为了让自己养成总结和记录的习惯,把每一章的内容结构化的写成读书笔记.以后查阅方便. 这本书是集成的,计算 ...
- 读书笔记，《刻意练习》，第三章，心理表征
本章开篇给出一个例子,讲述俄罗斯国际象棋特级大师亚历山大阿廖欣在1924年挑战26位国优秀的国际象棋棋手.然后就提出了,一个问题,他是怎么做到的呢!国际象棋大师究竟是能够回忆每一个棋子的位置,还是实际 ...
- 读书笔记 - 基于强化学习的城市交通信号控制方法研究 - 西电MaxPlus
<基于强化学习的城市交通信号控制方法研究> 针对TC-GAC交通信号控制方法中只考虑局部拥堵因子的缺陷,引入车辆目的车道的全局拥堵因子,实现了多交叉口控制器Agent之间的简单协作. 由于 ...
- python基础学习[python编程从入门到实践读书笔记(连载六)]：数据可视化项目第17章
文章目录 使用API end 项目结果: 使用plotly可视化github最受欢迎的python仓库: 修改后的可视化图表: 使用API 编写独立的程序,实现对获取的数据可视化.我们使用Web AP ...
- python基础学习[python编程从入门到实践读书笔记(连载四)]：数据可视化项目第15章
文章目录 matplotlib初学 基础绘图用法 随机漫步 使用Plotly模拟掷骰子 matplotlib初学 基础绘图用法 import matplotlib.pyplot as pltsquar ...
- 读书笔记《数据挖掘概念与技术》第2章 数据预处理 2.4 数据集成和变换
<数据挖掘:概念与技术(原书第2版)> 2.4 数据集成和变换 数据挖掘经常需要数据集成-合并来自多个数据存储的数据.数据还可能需要转换成适于挖掘的形式.本节介绍数据集成和数据变换. 2. ...
- 读书笔记-《ON JAVA 中文版》-摘要9[第九章 多态]
文章目录 第九章 多态 1. 向上转型回顾 1.1 忘掉对象类型 1.2 转机 1.3 方法调用绑定 1.4 产生正确的行为 1.5 可扩展性 1.6 陷阱:"重写"私有方法 1. ...
最新文章
- 区块链BaaS云服务（21）腾讯CCGP”安全沙箱“
- cv2 画多边形不填充_你不知道的4种方法：python方法绘制扇形
- JUnit 5扩展模型的生命周期
- php极差平级,平行志愿有级差吗志愿极差是什么
- AI 帮程序员找 Bug，一键快速预测
- c++ time.h 用法
- windows 弹出 api-ms-win-crt-runtime-l1-1-0.dll 丢失的问题
- 若干小球碰撞的一种暴力解题法
- Dorado 7 使用到的 注释
- android根据经纬度获取位置,Android获取经纬度
- 佐治亚理工计算机科学,Gatech的CS「佐治亚理工学院计算机科学系」
- 语c语言描写,语c动作描写
- 近两年半导体重大收购兼并案
- git pull fatal: refusing to merge unrelated histories
- 从孙子兵法理解围棋大龙攻杀的要诀: 攻守双方口诀
- Unity集成穿山甲后打包报错android:networkSecurityConfig , Picked up JAVA_TOOL_OPTIONS:-Dfile.encoding=UTF-8
- OOSE-人际关系管理系统设计开发
- java-php-net-python-社会公共常识科普网计算机毕业设计程序
- iOS - 多控制器切换(带滑动动画)
- 浅谈一下光学合成孔径技术的原理（二）