李宏毅机器学习hw1~4作业 强化点总结

  • 李宏毅机器学习hw1
    • 1. 特征选择
    • 2. 激活函数
    • 3. 学习率
  • 李宏毅机器学习hw2
    • HMM
  • 李宏毅机器学习hw3
    • 1. dropout
    • 2. 目标检测Loss设置
    • 3. 模型融合
  • 李宏毅机器学习hw4
    • 1. Conformer
    • 2. Self-attention pooling

李宏毅机器学习hw1

1. 特征选择

利用sklearn中的特征选择方法，选择了少量最有影响的特征。对特征进行归一化处理，将其转换到[0, 1]区间内。
参考：基于sklearn的特征选择方法

2. 激活函数

LeakyReLU

优点：
1、针对Relu函数中存在的Dead Relu Problem，Leaky Relu函数在输入为负值时，给予输入值一个很小的斜率，在解决了负输入情况下的0梯度问题的基础上，也很好的缓解了Dead Relu问题；
2、该函数的输出为负无穷到正无穷，即leaky扩大了Relu函数的范围，其中α的值一般设置为一个较小值，如0.01；

缺点：
1、理论上来说，该函数具有比Relu函数更好的效果，但是大量的实践证明，其效果不稳定，故实际中该函数的应用并不多。
2、由于在不同区间应用的不同的函数所带来的不一致结果，将导致无法为正负输入值提供一致的关系预测。

ELU

优点：
1、ELU具有Relu的大多数优点，不存在Dead Relu问题，输出的均值也接近为0值；
2、该函数通过减少偏置偏移的影响，使正常梯度更接近于单位自然梯度，从而使均值向0加速学习；
3、该函数在负数域存在饱和区域，从而对噪声具有一定的鲁棒性；

缺点：
1、计算强度较高，含有幂运算；
2、在实践中同样没有较Relu更突出的效果，故应用不多；

3. 学习率

余弦退火算法

余弦退火通过周期性的改变学习率大小，在可能陷入局部最小值时，有可能跳出“局部最小值”。

李宏毅机器学习hw2

HMM

利用HMM与分词、词性标注、命名实体识别

下面引用 HMM隐马尔可夫模型详解

使用HMM模型时我们的问题一般有这两个特征：
１）我们的问题是基于序列的，比如时间序列，或者状态序列。
２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。

有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如：我现在在打字写博客，我在键盘上敲出来的一系列字符就是观测序列，而我实际想写的一段话就是隐藏序列，输入法的任务就是从敲入的一系列字符尽可能的猜测我要写的一段话，并把最可能的词语放在最前面让我选择，这就可以看做一个HMM模型了。再举一个，我在和你说话，我发出的一串连续的声音就是观测序列，而我实际要表达的一段话就是状态序列，你大脑的任务，就是从这一串连续的声音中判断出我最可能要表达的话的内容。

从这些例子中，我们可以发现，HMM模型可以无处不在。但是上面的描述还不精确，下面我们用精确的数学符号来表述我们的HMM模型。

原理可参考：HMM（隐马尔可夫）简介

李宏毅机器学习hw3

1. dropout

dropout，一般用来解决过拟合问题

注意：dropout一定放到全连接层，千万不要放到卷积层

参考：深度学习中Dropout原理解析

2. 目标检测Loss设置

FocalLoss

FocalLoss相对于CrossEntropy，考虑样本不均衡的问题并增加了错误分类样本loss的权重，可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。

Equalized Focal Loss

通过将一个类别相关的调制因子引入Focal Loss。具有两个解耦的动态因子（即聚焦因子和加权因子）的调制因子独立处理不同类别的正负不平衡。focusing factor根据硬正样本对应类别的不平衡程度，决定了对硬正样本的学习集中度。加权因子增加了稀有类别的影响，确保了稀有样本的损失贡献不会被频繁的样本所淹没。这两个因素的协同作用使EFL在长尾场景中应用一阶段检测器时，能够均匀地克服前景-背景不平衡和前景类别不平衡。
————————————————
版权声明：本文为CSDN博主「中科哥哥」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_38353277/article/details/123369497

3. 模型融合

感觉与作业的初衷不符，这里只简单的做个介绍

【机器学习】kaggle比赛大杀器——模型融合

kaggle比赛集成指南

李宏毅机器学习hw4

1. Conformer

论文地址: Conformer
conformer的思路很简单，就是将Transformer和CNN进行结合。原因：
1.Transformer中由于attention机制，拥有很好的全局性。
2.CNN拥有较好的局部性，可以对细粒度的信息进行提取。
两者结合在语音上有较好的效果。论文中阐述了具体的model架构。
————————————————
版权声明：本文为CSDN博主「loco_monkey」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/loco_monkey/article/details/125635953

参考：深度学习中Dropout原理解析

2. Self-attention pooling

self attention pooling论文
主要看论文中的self-attention pooling架构，和mean pooling相比之下，self-attention
pooling是通过可学习参数来进行pooling，相比mean pooling可以提取到一些信息。 参考大佬视频讲解
————————————————
版权声明：本文为CSDN博主「loco_monkey」的原创文章，遵循CC 4.0
BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/loco_monkey/article/details/125635953

李宏毅机器学习hw1~4作业 强化点相关推荐

  1. 李宏毅机器学习HW1

    本博文主要是完成李宏毅机器学习HW1作业 作业连接:https://ntumlta2019.github.io/ml-web-hw1/ 作业规则 所有代码必须用python3.6编写 允许所有pyth ...

  2. 李宏毅机器学习-HW1

    文章目录 前言 一.分析目标 二.数据预处理 1.初步处理 2.特征提取 3.Normalize和切分训练集和验证集 三.训练 四.验证 五.预测 1.数据预处理 2.预测 3.写入文件 总结 前言 ...

  3. 李宏毅机器学习 hw1 boss baseline 解析

    hw1 代码 任务描述 任务很简单,就是一个回归问题,给你过去四天新冠肺炎感染人数的相关情况,让你预测最后一天的新冠感染人数. 上图展示了特征的解析特征共有117维,首先是37维的关于州的one-ho ...

  4. 李宏毅机器学习的数据下载解决方法——如何避开使用!gdown

    文章目录 2023补充相关资源地址 原文 作业一: 作业二: 作业三: 2023补充相关资源地址 (1)李宏毅老师的机器学习网站:https://speech.ee.ntu.edu.tw/~hylee ...

  5. 【李宏毅机器学习CP1-3】(task1)机器学习简介分类|回归

    文章目录 1.机器学习的过程 2.机器学习相关分类 3.选择合适的model,loss function 4.CP3 一.回归定义和应用例子 回归定义 应用举例 二.模型步骤 Step 1:模型假设 ...

  6. 使用Pytorch搭建CNN模型完成食物图片分类（李宏毅视频课2020作业3，附超详细代码讲解）

    文章目录 0 前言 1 任务描述 1.1 数据描述 1.2 作业提交 1.3 数据下载 1.3.1 完整数据集 1.3.2 部分数据集 2 过程讲解 2.1 读取数据 2.2 数据预处理 2.3 模型 ...

  7. python线性回归预测pm2.5_线性回归预测PM2.5----台大李宏毅机器学习作业1(HW1)

    一.作业说明 给定训练集train.csv,要求根据前9个小时的空气监测情况预测第10个小时的PM2.5含量. 训练集介绍: (1).CSV文件,包含台湾丰原地区240天的气象观测资料(取每个月前20 ...

  8. 李宏毅机器学习作业4——Recurrent Neural Network

    本作业来源于李宏毅机器学习作业说明,详情可看

  9. 李宏毅机器学习作业6-使用GAN生成动漫人物脸

    理论部分参考:​李宏毅机器学习--对抗生成网络(GAN)_iwill323的博客-CSDN博客 目录 任务和数据集 评价方法 FID AFD (Anime face detection) rate 代 ...

  10. 李宏毅机器学习课后作业（hw2）

    李宏毅机器学习课后作业(hw2) 直接上代码 import numpy as np np.random.seed(0) X_train_fpath = "C:\\Users\\13554\\ ...

最新文章

  1. 广州线下活动 | 精益运维与 DevOps 最佳实践
  2. wps中的相交_PPT中最好用的一个功能，非它莫属了~
  3. BATCH+VBS脚本自动执行命令
  4. liunx 下 sendmail 反病毒和防垃圾邮件
  5. Pygame初始-模仿windows待机画面
  6. linux dns 攻击,DNSlog攻击技巧 | CN-SEC 中文网
  7. PyTorch 1.0 中文文档：torchvision.models
  8. LinuxDay19——加密与安全(2)
  9. C++中回调(CallBack)的使用方法
  10. xps测试数据处理软件,XPS原始数据处理之 Avantage 软件篇
  11. 机器学习导论--1.机器学习理论基础详解
  12. 微信授权登陆跳转提示10003 redirect_uri域名与后台配置不一致
  13. 无人车之美——论无人车辆系统的软件架构
  14. 网站架构优化之css+div设计对SEO的影响
  15. vue3 倒计时功能
  16. 一笔画问题中用奇点判断是否可以一笔完成
  17. PhotoSwipe.js 相册展示插件学习
  18. import 与 import()
  19. 初步认识一下余弦定理余余弦相似度
  20. 微软、IBM联合开拓移动办公市场 PK苹果？

热门文章

  1. Java中文乱码详解
  2. Python基础教程（第3版）PDF
  3. iso标准软件测试标准,软件质量-ISO9000标准+SQA简介
  4. go语言实战学习笔记
  5. 《大数据技术原理与应用》林子雨(第二版)--总结
  6. 2022华为杯数学建模A题思路代码
  7. 2921年3月计算机二级office,国家二级计算机考试office怎么报名
  8. 蓝牙音箱连接成功但没有声音还是电脑的声音
  9. Java 编码规范8(编程规约-注释规约与其它)
  10. STRIX z490i 10700k Monterey12.3黑苹果EFI分享