文章目录

1. 本周学习主要内容
- 1.1 Transformer和Bert
- 1.2 机器学习模型部署
- 1.3 基于DQN的强化学习算法
- 1.4 机器学习特征工程的复习
2. 所遇到问题及代办
3.本周重点
- 3.1 Transformer基本概念
- 3.2 自注意力机制
- 3.3 BERT模型
- 3.4 强化学习
- 3.5 特征工程

1. 本周学习主要内容

主要学习transformer、bert架构算法与计算过程
模型部署的一些前端知识

1.1 Transformer和Bert

思想
结构

1.2 机器学习模型部署

Flask + 前端

1.3 基于DQN的强化学习算法

强化学习

1.4 机器学习特征工程的复习

2. 所遇到问题及代办

现在还是感觉学习NLP难度很大，数学流程较为复杂
当前最流行的bert应该怎么嵌套到自己的架构中？
做一个落地的项目的开发流程不熟悉
继续学习时间序列模型与模型部署的方法思路
学习数据库，游戏数据集以数据库格式存在
许多深度学习架构是基于TensorFlow框架，需要了解一下转为pytorch的方法

3.本周重点

3.1 Transformer基本概念

Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章，trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。

是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。

transformer基本机构

3.2 自注意力机制

计算速度上的劣势限制了循环神经网络的应用，特别是在计算比较长的序列的时候，时间的延迟可能对模型的实际应用造成比较大的影响。为了能够增加模型的并行性，同时也方便程序的优化，Google的深度学习研究团队开发了一个新的机制，即自注意力机制（Self-Attention Mechanism），在最新版的PyTorch中也引入了相关的模块，这个模块被称为nn.MultiheadAttn模块。

自注意力机制的基础结构

重要公式
PyTorch中自注意力机制的模块

MultiheadAttention模块参数定义

Transformer单层编码器和解码器模块定义

Transformer编码器、解码器和Transformer模型

3.3 BERT模型

word2vec能够将一个单词转换成单词对应的词向量。但是在很多情况下，单个词向量并不能代表单词的含义。单词的含义在大多数情况下是和上下文相关的，因为在自然语言中存在着大量一词多义的情况。举例来说，在中文中，“出发”这个单词既可以用来表示从一个地点出发，也可以用来表示从一个论据开始推断，而这两个单词的意思显然不同；在英文中，“bank”既可以表示河岸，也可以表示银行。为了区分这些单词，就需要引入上下文单词的词义，从一个句子出发来看单词的具体含义。因此，为了能够克服word2vec算法的缺点，需要引入类似自注意力机制的方法，通过引入当前单词和上下文单词的关系，最后输出某个单词在上下文条件下的向量表示。

BERT模型示意图

BERT模型的词嵌入代码

3.4 强化学习

用深度学习模型来学习质量函数的算法被称为DQN（Deep Q-Network）

质量函数模型代码

DQN是用来解决离散动作空间的强化学习问题的一个有效算法。除DQN这种基于质量函数的强化学习算法外，还有一些基于策略网络的强化学习算法，主要方法是通过构建策略网络来输出每一步最优动作的概率，比如A3C83和SAC84等，比如A3C和SAC

3.5 特征工程

回顾之前学习过的特征衍生与特征选择算法，通过案例巩固之前的学习.

【李佳辉_周报_2022.10.23】相关推荐

【李佳辉_周报_2022.10.30】
文章目录 1. 本周学习主要内容 1.1 transformer经典论文精读 1.2 机器学习特征工程复习 1.3 pytorch实现NLP中的一些基础 2.下周学习内容与问题 3.本周重点 3.1 ...
【李佳辉_周报_2022.10.9】
文章目录 1. 本周学习主要内容 1.1 机器学习的复习 1.2 机器学习模型部署 1.3 数字信号处理 2.本周学习体会与问题 3.下周学习内容 4.本周重点 4.1 AutoML的思想与代码复现 ...
【李佳辉_周报_2022.10.16】
文章目录 1. 本周学习主要内容 1.1 NLP基础 1.2 机器学习模型部署 2. 所遇到问题及代办 3.本周重点 3.1 自然语言处理 3.1.1 主要应用领域 3.1.2 word2vec 3. ...
【李佳辉_周报_2022.10.2】
文章目录 1. 本周学习主要内容 1.1 深度学习方面 1.2 信号处理与Matlab实现 1.3 机器学习基础的回顾 2. 下周学习内容 3. 本周重点知识 3.1 Kaggle医学影响图像识别案例 ...
【李佳辉_周报_2022.9.18】
文章目录 1. 本周学习主要内容 1.1 深度学习方面 1.2 EEG方面 1.3 难点 2. 下周学习内容 3. 本周重点知识 3.1 深度学习 3.1.1 GoogLeNet 3.1.2 ResN ...
【李佳辉_周报_2022.9.25】
2022.9.19-2022.9.25学习记录 1. 本周总结 1.1 深度学习方面 1.2 脑电方面 2. 下周学习内容 3. 本周学习难点与重点 3.1 深度学习 3.1.1 数据格式转换 3.1 ...
【李佳辉_周报_2022.9.11】
2022.9.5-2022.9.11学习记录 1. 本周总结 1.1 深度学习方面 1.2 脑电方面 2. 下周学习内容 3. 本周学习难点与重点 3.1 深度学习算法 3.2 EEG学习记录 3.3 ...
产业区块链发展周报（10.17—10.23）| 陀螺研究院
摘要产业动态: 阿斯塔纳国际金融中心参与全球首个区块链标准路线图发布 "莲湖秦智汇"以区块链等+应用融合创新为核心产业发展方向河南日报:重点打造区块链等未来产业供应链向更加强 ...
产业区块链发展周报（10.11—10.16）| 陀螺研究院
摘要产业动态: 云南发改委:推进区块链技术同云南发展八大重点产业云南常务副省长:发展区块链产业态度坚决,千方百计形成区块链企业聚集态势四川省:大力发展区块链等数字经济产业,加快新型基础设施建设 ...

【李佳辉_周报_2022.10.23】