伯禹-公益AI学习打卡 Task02

1.文本预处理

记录一哈文本数据的常见预处理步骤：

（1）读入文本

（2）分词

（3）建立字典，将每个词映射到一个唯一的索引（index）

（4）将文本从词的序列转换为索引的序列，方便输入模型

2.基于统计学的语言模型

主要理论是一个n元语法，它是一个基于n-1阶马尔可夫链的概率语言模型，主要解释如下：

3.循环神经网络基础

（1）需要明白循环神经网络的设计目的在于处理时间序列类的数据，例如自然文本语言。其预测输出不仅与当前时刻输入有关，也与历史时刻输入有关，网络结构如下：

循环神经网络引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和上一时刻状态Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。

（2）裁剪梯度

由此可以解决循环神经网络中梯度爆炸问题。

----------------------家中条件有限，精力不能集中，仓促的笔记，未能亲自敲代码；过两日把老板的ARX预测模型搞通再来详细学习伯禹的网课，感谢伯禹公益AI《动手学》！

伯禹-公益AI学习打卡 Task02相关推荐

伯禹公益AI《动手学深度学习PyTorch版》Task 07 学习笔记
伯禹公益AI<动手学深度学习PyTorch版>Task 07 学习笔记 Task 07:优化算法进阶:word2vec:词嵌入进阶微信昵称:WarmIce 优化算法进阶 emmmm,讲实 ...
伯禹公益AI《动手学深度学习PyTorch版》Task 03 学习笔记
伯禹公益AI<动手学深度学习PyTorch版>Task 03 学习笔记 Task 03:过拟合.欠拟合及其解决方案:梯度消失.梯度爆炸:循环神经网络进阶微信昵称:WarmIce 过拟合. ...
伯禹公益AI《动手学深度学习PyTorch版》Task 05 学习笔记
伯禹公益AI<动手学深度学习PyTorch版>Task 05 学习笔记 Task 05:卷积神经网络基础:LeNet:卷积神经网络进阶微信昵称:WarmIce 昨天打了一天的<大革 ...
伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记
伯禹公益AI<动手学深度学习PyTorch版>Task 06 学习笔记 Task 06:批量归一化和残差网络:凸优化:梯度下降微信昵称:WarmIce 批量归一化和残差网络 BN和Res ...
伯禹公益AI《动手学深度学习PyTorch版》Task 04 学习笔记
伯禹公益AI<动手学深度学习PyTorch版>Task 04 学习笔记 Task 04:机器翻译及相关技术:注意力机制与Seq2seq模型:Transformer 微信昵称:WarmIce ...
1w+大学生在线学习，弘玑Cyclone与伯禹教育开展大学生RPA认证集训营
近日,弘玑Cyclone与伯禹教育在易班平台上面向全国高校开展2022年第一期"零基础就业班--RPA(机器人流程自动化)认证集训营",为中国高校学生普及RPA知识. Forres ...
结营答辩！28天！Datawhale助力公益AI一起学，点亮最暖寒假！
创新公益 28天前,为抵抗疫情,高校学子纷纷驻守在家,不能返校.不能去图书馆.在家如何高效学习,应对科研升学.求职就业的挑战? 我们觉得,大家需要一门好课,也需要好的学习氛围,更需要从学习到实践到就业 ...
哪本python入门书内容最详细-重磅 | 由浅入深的 AI 学习路线，最详细的资源整理！...
原标题:重磅 | 由浅入深的 AI 学习路线,最详细的资源整理! [导读] 本文由知名开源平台,AI技术平台以及领域专家: Datawhale, ApacheCN, AI有道和黄海广博士联合整理贡献 ...
坚持学习打卡的人，将来会变成什么样？
坚持打卡的人,将来会变成怎么样?让我们拭目以待.我组织了一个打卡活动,希望大家踊跃参加. 有一个励志故事: 在中国的最东边生长着一种竹子,名叫"毛竹".那里的农民到处播种,每天精心 ...

伯禹-公益AI学习打卡 Task02

伯禹-公益AI学习打卡 Task02相关推荐

最新文章

热门文章