一、深度学习基础知识

记录：当时学习李沐深度学习的笔记内容，后续继续补充。

04 数据操作 + 数据预处理

大小为1的 tensor 可以直接转成一个标量

数据预处理

用pd、np来做

05 线性代数

主要讲向量、矩阵

特殊矩阵：对称矩阵和反对称矩阵
正交矩阵

正定：

特征向量和特征值：不被矩阵改变方向的向量

常用代码

A = torch.arange(20, dtype=torch.float32).rashape(5, 4)
B = A.clone() # 分配新内存
#求和
A.sum(axis=1, keepdims=True) # 把留维度
A.cumsum() # 累加求和
torch.dot() # 向量点击
torch.mv(A, x) # 矩阵向量积
torch.mm(A, B) # 矩阵乘法
torch.norm(u) # 向量的L2范数
torch.abs(u).sum() # L1 范数

Frobenius norm 是矩阵元素平方和的平方根

矩阵计算

亚导数：比如|x|,这种函数在x=0点处不存在导数

梯度：
（1）标量对向量求导数，梯度往值变化最大的方向走

y是一个列向量，x是一个标量
向量对向量

自动求导

链式法则求导数

x.requires_grad(True)
x.grad
y = 2*torch.dot(x, x)
y.backward
#pytorch会累积梯度，所以要清楚之前的只
x.grad.zero_()

矩阵求导：https://zhuanlan.zhihu.com/p/263777564

二、QA

Q1：Jupyter添加Plotly插件，在 jupyter 中使用plotly

A：https://blog.csdn.net/huanghyw/article/details/104239756

Q2: 设置 pytorch 模型下载路径

A2：

import os
os.environ['TORCH_HOME']='E:/Data/torch-model'

Q3: PyTorch中的optimizer和scheduler
optimizer是利用学习率来更新网络参数的。scheduler是用于定义学习率的变化情况的

三、linux

安装软件包，已经下载好的deb文件

安装deb软件包：sudo dpkg -i xxxx.deb
uninstall：sudo dpkg -r xxxx #卸载xxxx软件包（软件名称可通过dpkg -I命令查看，其中-r等价于--remove）

【李沐】深度学习笔记相关推荐

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（Alexnet）
AlexNet 一.alexnet与lenet的区别二.主要区别 (1)激活函数从sigmoid变成ReLu(缓解梯度消失) (2)隐层全连接层后加入了丢弃层 (3)数据增强(图像的随机翻转) 三. ...
【动手学深度学习v2李沐】学习笔记07：权重衰退、正则化
前文回顾:模型选择.欠拟合和过拟合文章目录一.权重衰退 1.1 硬性限制 1.2 柔性限制(正则化) 1.3 参数更新法则 1.4 总结二.代码实现 2.1 从零开始实现 2.1.1 人工数据集 ...
关于安装李沐深度学习d2l包报错的解决办法（保姆教程）
目录:d2l包安装失败的解决过程前言一.李沐提供的安装方式 1. 创建一个新的环境 2. 激活 d2l 环境 3. 安装深度学习框架和d2l软件包 3.1 安装PyTorch的CPU或GPU版本 ...
线性回归原理（李沐老师学习笔记）
目录 1 线性回归的定义 1.1 线性回归的基本元素 1.1.1 线性模型 1.1.2 损失函数 1.1.3 为什么传统线性回归解不能应用于深度学习 1.1.4 随机梯度下降 2 自动求导 2.1 ...
脉脉发布AI人才数据图鉴；『李沐·深度学习论文精读』视频合辑；CVPR 2022自动驾驶资源合集；线性代数图绘笔记；前沿论文 | ShowMeAI资讯日报
ShowMeAI日报系列全新升级!覆盖AI人工智能工具&框架 | 项目&代码 | 博文&分享 | 数据&资源 | 研究&论文等方向.点击查看历史文章列表, ...
Softmax回归及损失函数（李沐深度学习课程、自用）
1 Softmax回归回归预测连续值,分类预测离散值分类多个输出,第i个输出代表第i类的置信度. 1.1 置信度转换在分类中,希望能尽可能地使正确类别的置信度远大于其它类别.同时我们可以将输出置 ...
李沐深度学习Accumulator函数
class Accumulator: # @save"""在`n`个变量上累加."""def __init__(self, n):self. ...
Mac M1芯片安装李沐深度学习包d2l
踩了无数坑,总结出来的首先安装miniforge,注意miniforge的版本,这里有很多教程,可以搜索mac M1 miniforge安装然后创建虚拟环境: conda create -n d2 ...
【深度学习】李沐的深度学习笔记来了！
转载自 | 机器之心去年年初,机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程.这门课从3月持续到8月,超过28000人参与了直播,课程回放在 B 站的播放量达到了上 ...

【李沐】深度学习笔记