- pytorch快速入门
- - csdn快速入门
  - OS包
  - PIL包
  - Opencv包
  - Dataset类
  - Tensorboard的使用
  - torchvision.transforms 的使用
  - torchvision中数据集的使用
  - DataLoader的使用(torch.utils.data)
  - 神经网络的搭建nn.Module
深度学习李宏毅
- Chatgpt
- - 1 研究方向
  - 2 Chatgpt学习的步骤
  - 3 Fine tune vs. Prompt
  - - 期待一｜成为专才，加外挂 or fine tune or Adapter
    - 期待二｜成为通才
    - chain of thought （COT ）Promptting
[一、 Regression回归](https://youtu.be/fegAeph9UaA)
- Overfitting and Regularization
- - 误差error是哪里来的？——寻找调整方法
  - 注意不要这样做！——数据集的划分
- Gradient Descent
- - 1. learning rate 的调整
  - 2 SGD 随机梯度下降（Stochastic Gradient Descent
  - 3 Feature Scaling 特征缩放
  - 4 数学原理
  - 5 GD的一些限制limitation
二、Classification 分类
- 2.1 生成式模型(generative *model*)
- - 2.1.1协方差矩阵（Covariance Matrix）
- 2.2 逻辑回归判别式模型(*discriminative* model)
- - 2.2.1 function set
  - 2.2.2 Goodness of function 好坏
  - 2.2.3 find the best function 寻找参数
- 2.3 辨别模型VS生成模型
- 2.4 Multi-class Classification
- 2.5Limitation of Logistic Regression
- - 2.5.1 f eature transformation
三、DL 深度学习简介
- 3.1 DL的步骤
- - 3.1.1 Fully Connected Feedforward Network 全连接前向传播神经网络、前馈神经网络
  - 3.1.2 定义一个function goodness 好坏— cross entropy 交叉熵
- 3.2 Backpropagation 反向传播
- - 3.2.1 Chain Rule 链式求导
  - 3.2.2 BP过程推导
- 3.3 机器学习任务攻略
- - 3.3.1 在training data 上loss 过大？过小？
  - 3.3.2 N-fold Cross Validation
- 3.4 神经网络训练不起来怎么办？
- - 3.4.1 local minima 局部最小值和 saddle point 鞍点
  - 3.4.2 批次batch

pytorch快速入门

csdn快速入门

https://blog.csdn.net/PolarisRisingWar/article/details/116069338

工具箱dir() 、help() 或者类名??、 ipython交互式操作
pycharm 的好处就是可以看到实时变量的值

OS包

os.path.join() 拼接路径
os.listdir( ) 返回目录下的文件列表

PIL包

from PIL import Image 导入
Image.open(path) 读取图片，读出的图片类型是JepgImageFile类型
img.show() 显示

Opencv包

import cv2
cv2.imread（） 读出的图片类型是numpy

Dataset类

自定义的data类要继承Dataset类

self相当于一个全局变量，以便类中每个函数共享使用，否则就不需要写

eg 数据集url蚂蚁蜜蜂分类数据集和下载连接https://download.pytorch.org/tutorial/hymenoptera_data.zip

from torch.utils.data import Dataset
from PIL import Image
import os
class MyData(Dataset):def __init__(self,root_dir,label_dir):self.root_dir = root_dirself.label_dir = label_dirself.path = os.path.join(self.root_dir,self.label_dir)self.img_path=os.listdir(self.path)#img_path='/Users/fanzhilin/Downloads/hymenoptera_data/train/ants/0013035.jpg'def __getitem__(self,idx):img_name = self.img_path[idx]img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)img =Image.open(img_item_path)label = self.label_dirreturn img,labeldef __len__(self):return len(self.img_path)ants_dataset =MyData('/Users/fanzhilin/Downloads/hymenoptera_data/train','ants')
print(len(ants_dataset))#ants训练集长度

Tensorboard的使用

需要先转换成tensor类型才能显示

add_scalar()

eg 画出y=2x图

from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter("logs")# 放在当前目录logs目录，可以自己改名字# 画出 y =2x
for i in range(100):writer.add_scalar("y=2x",2*i,i) writer.close()

打开logs文件，在终端运行 tensorboard --logdir=logs ，也可以指定端口–port 6007, 便可以通过网页访问

add_image()、add_images()一次添加多个图片

查看def，需要传入 (torch.Tensor, numpy.array, or string/blobname)类型的y轴数据，需要把图片类型转换一下，从PIL到numpy arrary，需要传入参数dataformats=‘HWC’ 指定每一维的含义

from torch.utils.tensorboard import SummaryWriter
import numpy as np
from PIL import Imagewriter = SummaryWriter("logs")
img_path="/Users/fanzhilin/Downloads/hymenoptera_data/train/ants/0013035.jpg"
img_PIL =Image.open(img_path)
img_arrary = np.array(img_PIL)
print(img_arrary.shape)
writer.add_image("ant",img_arrary,1,dataformats='HWC')#从PIL到numpy arrary，需要传入参数dataformats='HWC' 指定每一维的含义# 画出 y =2x
for i in range(100):writer.add_scalar("y=2x",2*i,i) writer.close()

torchvision.transforms 的使用

就是一个工具箱

使用注意点⚠️

ToTensor类，为什么需要转换？包含了一些dl的参数
Normalize类，归一化
Resize类

transforms.Resize(x)等比例缩放，将图片短边缩放至size，长宽比保持不变，i.e，如果高度>宽度，则图像将被重新缩放为（size*高度/宽度，size）将图片短边缩放至x，长宽比保持不变 transforms.Resize(x)
Compose 就是将函数进行组合，需要提供一个转换的列表，相对应合并执行

RandomCrop 随机裁剪，用于数据增强

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
img_path="/Users/fanzhilin/Downloads/hymenoptera_data/train/ants/0013035.jpg"
img=Image.open(img_path)
writer=SummaryWriter("logs")#ToTensor
trans_tensor = transforms.ToTensor()# 创建对象
img_tensor=trans_tensor(img)#变为tensor
writer.add_image("Totensor",img_tensor,0 )#Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5,0.5,0.5],[2,1,1])
img_norm=trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize",img_norm,0 )#Resize
print(img.size)
trans_resize=transforms.Resize((512,512))
img_resize = trans_resize(img)#PIL 类型
img_resize=trans_tensor(img_resize)#想要在tensorboard显示需要变成tensor类型
writer.add_image("Resize",img_resize,0)
print(img_resize.size())# Compose resize 结合
trans_resize2 = transforms.Resize(512)
trans_compose = transforms.Compose([trans_resize2,trans_tensor])
img_resize2 = trans_compose(img)
writer.add_image("Resize",img_resize2,1)#RandomCrop
trans_random=transforms.RandomCrop(400) #(h,w)传入也可以
trans_compose2= transforms.Compose([trans_random,trans_tensor])
for i in range(10):#随机裁剪10个img_crop = trans_compose2(img)writer.add_image("RandomCrop",img_crop,i)writer.close()

torchvision中数据集的使用

datasets

官网数据集https://pytorch.org/vision/stable/datasets.html

可以吧url拷贝，用迅雷下载

import torchvision dataset_trans=torchvision.transforms.Compose([torchvision.transforms.ToTensor()]
)#把数据集每一个全变成tensor，方便使用tensorboard显示
train_set = torchvision.datasets.CIFAR10(root='./dataset',train=True,transform=dataset_trans,download=True)
test_set = torchvision.datasets.CIFAR10(root='./dataset',train=False,transform=dataset_trans,download=True)
#如果root没有目录会自动建立，建议设置download=true，如果没有回下载到本地，并且会自动解压
print(train_set[0])#第一条
print(train_set.classes)#labelimg,traget=train_set[0]#打印查看格式，前一个是img，后一个是label
print(img)
print(traget)
print(test_set.classes[traget])
img.show()

DataLoader的使用(torch.utils.data)

类似抽牌

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
test_data = torchvision.datasets.CIFAR10(root='./dataset',train=False,transform=torchvision.transforms.ToTensor())test_loader  = DataLoader(dataset=test_data,batch_size=4,shuffle=True,num_workers=0,drop_last=False)
#batch_size = 4  从dataset取4个数据，打包返回
#shuffle = True 每次抽取都是随机的
#drop_last=False,最后一次取如果不够取不舍去
img,target = test_data[0]
print(img.shape)
print(target)writer = SummaryWriter("dataloader")for epoch in range(2):step=0for data in  test_loader:imgs,targets = data# print(imgs.shape)#打包返回的数据torch.Size([4, 3, 32, 32]) 4数据 3通道rgb h w# print(targets)#tensor([5, 9, 2, 4]) 是label writer.add_images("Epoch :{}".format(epoch),imgs,step)step=step+1writer.close()

神经网络的搭建nn.Module

Eg 简单的nn

from torch import nn
import torch.nn.functional as F
import torch
class Model(nn.Module):def __init__(self):super().__init__()
#nn.module内的call方法里调用了forward,通过打断点也可以知道！def forward(self,input):return input+1nn1=Model()
x= torch.tensor(1)
print(nn1(x))

卷积操作