参考与前言

课程链接：跟李沐学AI的个人空间_哔哩哔哩_bilibili
课程主页：https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/kaggle-house-price.html
相关代码参考：https://www.kaggle.com/alexandreazhang/using-dl-to-predict-housing-prices/notebook

本部分主要用于记录自己做第一次作业的一些感受主要是emmm 也是第一次看这么仔细，虽然最后还是不如沐神的十行代码 hhhh 但是还是总结一下较好，本来是想弄一弄懂注意力那个算法是咋个计算方式还有最近看的GRU那几个点，但是沐神太吸引人了 hhh 所以就实战了一下基本上也算是做了一天左右 emmm

首先遇到的问题：

one hot后太多feature了
learning_rate 一开始直接成0了
后面有遇到梯度爆炸情况，虽然有weight_decay 但是emm 好像哪里不太对

放张图感受一下内心一起爆炸

提醒用了wandb 非常好用的一个好东西，这是最后比较好的结果，大概几分钟就训完了，大概就是上面那个爆炸前因为我设了中间保存模型的点，大概是350处的模型进行评估的：

全部完整代码在这里：https://gitee.com/kin_zhang/d2l 点进去选择即可

1. 模型

MLP简单版

import torch
import pandas as pd
import torch.nn as nn
from torch.nn import functional as F
from tqdm import tqdm
import numpy as np
from torch.utils import data
import wandbclass MLP(nn.Module):def __init__(self, in_features):super().__init__()self.layer1 = nn.Linear(in_features,256)self.layer2 = nn.Linear(256,64)self.out = nn.Linear(64,1)def forward(self, X):X = F.relu(self.layer1(X))X = F.relu(self.layer2(X))return self.out(X)
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

注意因为我大概看了我的in_features 最后470多 512不太合适所以就256了

其他就是forward里面加relu，说实话我最近才意识到原来激活函数是非线性化的，而relu是其中一个计算开销最小的激活函数。恕我之前都是直接用就完事了 resnet yyds

【沐神课程 - 动手学深度学习】实战一详解之 Kaggle比赛：预测房价相关推荐

【沐神课程 - 动手学深度学习】实战二详解之 Kaggle比赛：分类树叶
参考与前言课程链接:跟李沐学AI的个人空间_哔哩哔哩_bilibili 课程主页:https://zh-v2.d2l.ai/chapter_introduction/index.html 相关代码参 ...
沐神《动手学深度学习》使用笔记
1.引言沐神提到自己看的三本书: <算法导论> <模式识别和机器学习>即PRML <统计学习基础> 一个教训:计算机科学是动手的学科,没有足够的动手能力难以取得很 ...
Colab运行沐神《动手学深度学习》：ImportError: cannot import name ‘_check_savefig_extra_args‘ from ‘matplotlib.back
原语句: num_epochs = 10 train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs, updater) 报错: I ...
沐神《动手学深度实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
沐神<动手学深度学习>飞桨版课程公开啦! hello各位飞桨的开发者,大家好!李沐老师的<动手学深度学习>飞桨版课程已经公开啦.本课程由PPSIG和飞桨工程师共同建设,将原书中 ...
李沐中《动手学深度学习》6月最新
阿斯顿·张.李沐联合编写的,面向中文读者的能运行.可讨论的深度学习教科书<动手学深度学习>又更新了. 本书6月最新.免费中文版.英文版教材:随书配套代码.视频: https://m ...
李沐d2l《动手学深度学习》第二版——风格迁移源码详解
本文是对李沐Dive to DL<动手学深度学习>第二版13.12节风格迁移的源码详解,整体由Jupyter+VSCode完成,几乎所有重要代码均给出了注释,一看就懂.需要的同学可以在文末 ...
李沐老师《动手学深度学习》课程总结1
数据操作 1. 创建数组:形状.数据类型.数据值 2. 访问元素:[1, 2] 访问第二行第三列 [1, :] 访问第二行 [1:3, 1:] 子区域:第二行至第四行前一行到第二列之后所有 [::3, ...
沐神-动手学深度学习-引言
2022年暑假,本科毕业,准研究生的我准备在漫长的假期中学习些自己感兴趣的知识,恰好看到了B站中沐神的动手学深度学习系列视频,之后便开始跟着教程开始学习.在之后的学习过程中,渐渐发现自己的学习效率开始 ...
动手学深度学习（十四）——权重衰退
文章目录 1. 如何缓解过拟合? 2. 如何衡量模型的复杂度? 3. 通过限制参数的选择范围来控制模型容量(复杂度) 4. 正则化如何让权重衰退? 5. 可视化地看看正则化是如何利用权重衰退来达到缓解 ...

【沐神课程 - 动手学深度学习】实战一详解之 Kaggle比赛：预测房价

参考与前言

1. 模型

MLP简单版

【沐神课程 - 动手学深度学习】实战一详解之 Kaggle比赛：预测房价相关推荐

最新文章

热门文章