NLP-D23-cs224nkaggle房价预测复习chap5深度学习计算算法R2D7Unicorn

—0525早上4点起，还是看了cs224n作为听力练习。
然后就看论文了。好饿，吃了很多面包片，看沐沐讲课好治愈啊。看完这个QA继续看论文了。

–0544大概看了overview，不想看了。继续看pytorch实践叭！

—0801

—0815说去看个视频，结果去看起了沐沐，太真实了。现在开始敲代码叭！

–0822哦吼！看完第四章了！想自己再做一遍这个比赛！

1、
AssertionError: Size mismatch between tensors
这个问题是DataLoader里两个array的维度不同

应该是我写的时候抄错了，没过脑子

、磕磕绊绊，一上午，在闲适的状态下，终于半独立地写完了一个kaggle比赛。想要完全独立对我来说还是很难。总结一下。
一、流程
1、读数据，做数据的预处理
2、定义dataloader

from torch.utils.data import TensorDataset, DataLoader
def load_array(data_arrays, batch_size, is_train=True):dataset = TensorDataset(*data_arrays)return DataLoader(dataset, batch_size, shuffle=is_train)

3、定义模型、初始化参数、选择优化器、定义损失函数
4、k折交叉验证（这里我们是自己写的，但其实应该有api，并没有，在李沐大大的书里没翻到，去网上查，发现和书中代码一样）
因为用的k折交叉验证，我们就没有单独切割数据集的part了。
5、不断调试超参数（这里我们没做）
6、最后再train以及predict。

踩的坑：
1、函数参数定义和传递时的顺序不一样，导致疯狂报错。dataload的时候，两个array的样本数应该是一样的。
2、df[‘aaa’]或者df.iloc[:,:]

—1045哎，感觉放松下来，又挺有意思的，不要把自己蹦的太紧了啊。去吃饭了。

—1443中午睡了个好觉，2点醒了，没有立刻起来学习，而是特意让自己在床上看了会手机，强制放松。现在开始继续敲代码了！

1、深度学习关键组件
模型构建、参数访问与初始化、设计自定义层和块、将模型读写到磁盘、利用GPU实现显著加速。
2、块好神奇！！！
之前看视频的时候还不太理解块的作用，现在看完了resnet再看书，感觉能够更好地理解了。块可以看做是层的集合，或者是块的集合，通过init对参数进行初始化；通过forward支持自由地构建模型，同时由于继承nn.Module,自带了反向传播的功能。
块支持套娃行为。
之前的sequential也是一个块，它实现的功能主要是顺序执行参数中的module实例。

3.nn.Module类的_modules属性
这个属性用来存放参数中传过来的modules；
我猜测：
如果在init中建立，会直接添加到这个字典中。而参数传过来的modules则需要我们手动加入。
加入后的好处在于，其他模块可以承认这个module，比如初始化。在初始化的时候，系统会查找这个字典中的字块，将其自动初始化。就相当于在我这个module里对他们进行了注册。

3、在列表之前的作用
在练习里，多次看到，查了一下。
和我们定义函数时用的是一样的，就是将列表的值解开；同理**，作用于字典。另外，作用于字典的时候字典的键，要和形参名字相同。
*字典，是获取字典的键
参考：https://blog.csdn.net/qq_42031142/article/details/115305956
自己做了个小实验

—1605想先去吃饭了！
突然觉得，如果你不觉得coding是一件难事，它其实挺简单的。比如说，现在我就觉得，“无他，唯手熟尔。”
干饭去!

–1830
加了大佬微信，收到综述。
认识了一个做nlp的小姐姐，被鼓励多做几个数据集，要努力。
现在开始刷题，一会去做核酸。
—1928做完核酸了，今天的新题还没做，复习做完了，去做下新题。好想吃蛋白棒！！！但是还是忍一忍叭！

—1946一维前缀和，还可以写的更简洁，明天实现。
去看看翻译。

–2010啦啦啦！！！看完翻译啦！！继续看pytorch了！

感觉自定义块和自定义层的区别在于：
自定义块在操作层（__init__中是层）；自定义层在操作X和参数（__init__中是Parameter）。

实例化层之后，便将参数初始化完成。传入X后，则完成前向传播（有一个隐藏的接收X的函数，接收X后，直接传给forward并执行）

保存模型和参数

字符串前加f的作用：格式化字符串

参考
https://blog.csdn.net/qq_43463045/article/details/93890436

把数据挪到cuda上去
可以用to；也可以device=

也可以
Z = X.cuda(1)
//在cuda1上复制X，并将其分配给Z

查看net在哪个设备，其实就是查看他的weight在哪里。allinall，存的还是参数嘛，模型本身就只是逻辑，找了半天查找语句，没想到就在书上。

不经意移动数据，可能会显著降低性能。
比如，每个小batch，打印一下损失，或者记录在numpy ndarray中。

在GPU上分配日志内存，并且只移动较大的日志===》不频繁切换，只有在gpu上积累到较大数量后才切换。

—2157完成了chap5！！！准备收工!

NLP-D23-cs224nkaggle房价预测复习chap5深度学习计算算法R2D7Unicorn相关推荐

NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)
翻译来自百分点认知智能实验室易显维桂安春本文翻译自The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Arc ...
NLP：LSTM之父眼中的深度学习十年简史《The 2010s: Our Decade of Deep Learning / Outlook on the 2020s》的参考文献
NLP:LSTM之父眼中的深度学习十年简史<The 2010s: Our Decade of Deep Learning / Outlook on the 2020s>的参考文献目录 T ...
使用TensorFlow进行股票价格预测的简单深度学习模型
使用TensorFlow进行股票价格预测的简单深度学习模型(翻译) 原文链接:https://medium.com/mlreview/a-simple-deep-learning-model-for- ...
模块一：深度学习入门算法
模块一:深度学习入门算法 1.深度学习必备知识 1.1深度学习要解决的问题机器学习流程: 数据获取 -----> 特征工程 -----> 建立模型 ------> 评估与应用特征 ...
王喆：深度学习计算广告
<DataFun·5周年系列技术文章>专栏·第02篇作者 | 王喆策划 | Hoh 导读:大家好,我是<深度学习推荐系统>的作者王喆,很多同行可能读过这本系统性介绍推荐系统 ...
如何从系统层面优化深度学习计算？
编者按:在图像.语音识别.自然语言处理.强化学习等许多技术领域中,深度学习已经被证明是非常有效的,并且在某些问题上已经达到甚至超越了人类的水平.然而,深度学习对于计算能力有着很大的依赖,除了改变模型和 ...
手把手教你从系统层面优化深度学习计算
来源: 微软研究院AI头条本文约5643字,建议阅读10分钟. 在图像.语音识别.自然语言处理.强化学习等许多技术领域中,深度学习是非常有效的,并且某些问题已经达到甚至超越了人类的水平.除了改变模型 ...
2017年深度学习优化算法最新进展：如何改进SGD和Adam方法？
2017年深度学习优化算法最新进展:如何改进SGD和Adam方法? 深度学习的基本目标,就是寻找一个泛化能力强的最小值,模型的快速性和可靠性也是一个加分点. 随机梯度下降(SGD)方法是1951年由R ...
主要推荐系统算法总结及Youtube深度学习推荐算法实例概括
主要推荐系统算法总结及Youtube深度学习推荐算法实例概括 By ZhuZhiboSmith2017年7月09日 17:00 现如今,许多公司使用大数据来做超级相关推荐,并以此来增加收益.在海量推荐 ...
有三AI发布360页11万字深度学习CV算法工程师成长指导手册，可下载收藏打印，未完待续...
文/编辑 | 言有三字少事大,各位同学,今天有三AI平台发布<深度学习视觉算法工程师成长指导手册>,超过11万字,360页word文档,可下载收藏打印,且还有大约1/3内容并未完结,最终 ...

NLP-D23-cs224nkaggle房价预测复习chap5深度学习计算算法R2D7Unicorn

NLP-D23-cs224nkaggle房价预测复习chap5深度学习计算算法R2D7Unicorn相关推荐

最新文章

热门文章