57 长短期记忆网络（LSTM）【动手学深度学习v2】

深度学习学习笔记
学习视频：https://www.bilibili.com/video/BV1JU4y1H7PC/?spm_id_from=autoNext&vd_source=75dce036dc8244310435eaf03de4e330

长短期记忆网络（LSTM）
LSTM 实际中比较常用的网络，LSTM比GRU复杂一些。
忘记门、输入门、输出门，效果上也是是不是要忘记过去的状态尽量去看现在的输入数据；还是说不看现在的状态尽量去用前一个时刻的状态。

三个门，计算差不多，XW + Ht-1W + b。

候选记忆单元
C ：之前算RNN里面那个H相似。

记忆单元
上一个时刻的记忆单元会当做状态传进来，F 尽量不去记住前一个状态 Ct-1，I 尽量去用Ct。

隐藏状态
对候选记忆单元Ct再做一个tanh。
记忆单元处的计算公式，可能将Ct变化为（-2，2），Ht需要在（-1，1）所以需要再做一次tanh，Ot是控制要不要输出（1 输出，0 重置不要所有的信息）。

总结：LSTM 和GRU实现效果差不多，但是更加复杂，多了一个C（没有被normalize，所以区间可能会大，忘掉前面的Ct-1，只用当前的Ct），Ht一样可要之前又可不要之前。

57 长短期记忆网络（LSTM）【动手学深度学习v2】相关推荐

动手学深度学习v2 p1引言监督学习与无监督学习
1.引言 1.2. 机器学习中的关键组件首先介绍一些核心组件.无论什么类型的机器学习问题,都会遇到这些组件: 可以用来学习的数据(data): 如何转换数据的模型(model): 一个目标函数(ob ...
李沐动手学深度学习v2/总结1
总结编码过程数据数据预处理模型参数,初始化参数超参数损失函数,先计算损失,清空梯度(防止有累积的梯度),再对损失后向传播计算损失关于参数的梯度优化算法,使用优化算法更新参数训练求参数 ...
new 动手学深度学习V2环境安装
动手学深度学习V2 环境安装虚拟环境 d2l-zh安装 conda create -n d2l-zh -y python=3.8 pip pip install jupyter d2l torch ...
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神视频链接https://www.bilibili.com/video/BV1MA411L78X?t=493 由于购买的电脑没有配 ...
【动手学深度学习v2李沐】学习笔记07：权重衰退、正则化
前文回顾:模型选择.欠拟合和过拟合文章目录一.权重衰退 1.1 硬性限制 1.2 柔性限制(正则化) 1.3 参数更新法则 1.4 总结二.代码实现 2.1 从零开始实现 2.1.1 人工数据集 ...
动手学深度学习 v2 视频版
动手学深度学习 v2 01 课程安排目标内容形式你将学到什么? 资源 02 深度学习介绍 AI 地图图片分类物体检测和分割样式迁移人脸合成文字生成图片文字生成 03 安装本地安装 ...
《动手学深度学习v2》之细致解析（1)内容及介绍及安装
前言作者来自北京某不知名985,现在是本科在读学生,专业是数据科学与大数据技术,班上同学都太卷了,没办法,需要学习深度学习,经大佬介绍,在B站上找到了一个很不错的资源,李沐老师的<动手学深度学 ...
动手学深度学习V2——李沐Bilibili直播视频Jupyter Notebook安装
在哔哩哔哩上发现李沐是视频直播讲解<动手学深度V2>- Pytorch,准备按照视频中的安装教程来搭建一个新的虚拟环境d2l,李沐使用的是Jupyter Notebook 而不是 Pych ...
08 线性回归 + 基础优化算法【动手学深度学习v2】
线性回归输出层不当成一层输入层和权重层放一起 x和y是列向量因为loss=1/2(y-y_hat)^2 又因为y_hat的平均值=1/n(xi*w+b)=1/n(Xw+b) 唯一一个有显示解的模 ...

57 长短期记忆网络（LSTM）【动手学深度学习v2】

57 长短期记忆网络（LSTM）【动手学深度学习v2】

57 长短期记忆网络（LSTM）【动手学深度学习v2】相关推荐

最新文章

热门文章