numpy手写mlp

直接提供代码

一共分四个文件

trainer.py用于接受参数开始训练

layer.py用于定义每个层的属性和功能

net.py用于构建整个神经网络

mlp用于读取mnist数据集并进行训练

记得把trainer,layer,net这三个文件拷到同一个文件夹下，方便mlp文件调用这三个文件的类

DogeTrainer.py

from dogelearning.DogeLayer import Layer
from dogelearning.DogeNet import Net
from tqdm.std import trange
import numpy as npclass Trainer:def train(self,net,train_loader,batch_size,optimizer='sgd',epoch_num=50):list = []for i in trange(0, epoch_num):for batch_idx, (data, target) in enumerate(train_loader):if (data.shape[0] < batch_size):breakdata = np.squeeze(data.numpy()).reshape(batch_size, 784)  # 把张量中维度为1的维度去掉,并且改变维度为(64,784)target = target.numpy()  # x矩阵 (64,10)y_hat = net.forward(data)net.backward( np.eye(10)[target] )list.append(Accuracy(target, y_hat))if (batch_idx == 50):print("准确率为" + str(Accuracy(target, y_hat)))return listdef Accuracy(target, y_hat):# y_hat.argmax(axis=1)==target 用于比较y_hat与target的每个元素，返回一个布尔数组acc = y_hat.argmax(axis=1) == targetacc = acc + 0  # 将布尔数组转为0，1数组return acc.mean()  # 通过求均值算出准确率

DogeNet.py

from dogelearning.DogeLayer import *
class Net:layers=[]batch_size=0input_num=0def __init__(self,batch_size,input_num):self.batch_size=batch_sizeself.input_num=input_numpassdef add(self,layer_type,node_num,activation=""):if (len(self.layers)==0):last_node_num=self.input_numelse:last_node_num=self.layers[-1].node_num #获取上一层的节点个数if (layer_type=='Softmax'):self.layers.append(Softmax((node_num)))else:self.layers.append(Layer(last_node_num,node_num,self.batch_size,activation))def forward(self,data):for layer in self.layers:data=layer.forward(data)return data #返回最后输出的data用于反向传播def backward(self,y_hat):dydx=y_hatfor layer in reversed(self.layers):dydx=layer.backward(dydx)def print(self):print("网络名                                                      节点个数 激活函数")for layer in self.layers:print(layer,layer.node_num,layer.activation)

DogeLayer.py

# import minpy.numpy as mnp
import numpy as np
class Layer:lamda = 3  # 正则化惩罚系数w=0b=0last_node_num=0node_num=0batch_size=0activation=''learning_rate=0.1x=0activation_data =0def __init__(self,last_node_num,node_num,batch_size,activation):self.last_node_num=last_node_numself.node_num=node_numself.w = np.random.normal(scale=0.01, size=(last_node_num,node_num))  # 生成随机正太分布的w矩阵self.b = np.zeros((batch_size, node_num))self.activation=activationself.batch_size=batch_sizedef forward(self,data):self.x=datadata=np.dot(data, self.w) + self.bif self.activation=="Sigmoid":data=1 / (1 + np.exp(-data))# print(data.mean())if self.activation=="Tahn":data = (np.exp(data)- np.exp(-data)) / (np.exp(data)+ np.exp(-data))if self.activation == "Relu":data= (np.abs(data)+data)/2.0self.activation_data = datareturn datadef backward(self,y):if self.activation == "Sigmoid":y = self.activation_data * (1 - self.activation_data) * yif self.activation == "Tahn":y = (1 - self.activation_data**2) * yif self.activation=="Relu":self.activation_data[self.activation_data <= 0] = 0self.activation_data[self.activation_data > 0] = 1y = self.activation_data *yw_gradient=np.dot(self.x.T, y)b_gradient=yy=np.dot(y,self.w.T)self.w = self.w - (w_gradient+(self.lamda*self.w)) / self.batch_size * self.learning_rateself.b = self.b - b_gradient / self.batch_size * self.learning_ratereturn yclass Softmax (Layer):y_hat=[]def __init__(self,node_num):self.node_num=node_numpassdef forward(self,data):data = np.exp(data.T)  # 先把每个元素都进行exp运算# print(label)sum = data.sum(axis=0)  # 对于每一行进行求和操作# print((label/sum).T.sum(axis=1))self.y_hat=(data / sum).Treturn self.y_hat  # 通过广播机制，使每行分别除以各种的和def backward(self,y):return self.y_hat-y

MLP.py

from torchvision import datasets, transforms
import torch.utils.data as Data
# import minpy.numpy as mnp
# import numpy as npfrom dogelearning.DogeNet import Net
from dogelearning.DogeLayer import Layer
from dogelearning.DogeTrainer import Trainerbatch_size = 256
learning_rate=0.001def load_data():# 加载torchvision包内内置的MNIST数据集 这里涉及到transform:将图片转化成torchtensortrain_dataset = datasets.MNIST(root='./data/', train=True, transform=transforms.ToTensor(), download=True)# 加载小批次数据，即将MNIST数据集中的data分成每组batch_size的小块，shuffle指定是否随机读取train_loader = Data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True)return train_loaderif __name__ == '__main__':train_loader=load_data()    #加载数据(这里使用pytorch加载数据，后面用numpy手写)net = Net(batch_size,784)print(net.batch_size)# net.add("",256,activation="Sigmoid")# net.add("", 64, activation="Sigmoid")# net.add("", 10, activation="Sigmoid")# net.add("Softmax", 10)# net.add("", 256, activation="Tahn")# net.add("", 64, activation="Tahn")# net.add("", 10, activation="Tahn")# net.add("Softmax", 10)net.add("", 256, activation="Relu")net.add("", 64, activation="Relu")net.add("", 10, activation="Relu")net.add("Softmax", 10)net.print()list=Trainer.train(train_loader,net,train_loader,batch_size,epoch_num=100)import matplotlib.pyplot as pltplt.plot(list)plt.show()

最终效果如下

tahn的优化图像

relu的优化图像

numpy手写mlp相关推荐

太赞了！NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
NumPy 手写所有主流 ML 模型，由普林斯顿博士后 David Bourgin打造的史上最强机器学习基石项目！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 用 NumPy 手写所有主流 ML 模型,普林斯顿博士后 David Bourgi ...
【神经网络实验】Numpy手写多层神经网络
引言这个作业的目的是给你们介绍建立,训练和测试神经系统网络模型.您不仅将接触到使用Python包构建神经系统网络从无到有,还有数学方面的反向传播和梯度下降.但在实际情况下,你不一定要实现神经网络从零 ...
用Numpy手写各种距离度量
本文用Numpy实现了常见的几种距离度量. 设和为两个向量,求它们之间的距离. 这里用Numpy实现,设和为ndarray <numpy.ndarray>,它们的shape都是(N,) 为 ...
Github | NumPy手写全部主流机器学习模型
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达该 repo 的模型或代码结构如下所示: 1. 高斯混合模型 EM ...
手写 30 个主流机器学习算法，代码超 3 万行，全都开源了！
点击上方"视学算法",选择"星标"公众号第一时间获取价值内容本文经机器之心(ID:almosthuman2014)授权转载,禁二次转载参与:思源.一鸣.张 ...
MNIST手写数字识别之MLP实现
在本笔记中,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的相关概念,并将其运用到最基础的MNIST数据集分类任务中,同时展示相关代码.本笔记主要从下面 ...
基于Numpy构建全连接前馈神经网络进行手写数字识别
文章目录 (一) 问题描述 (二) 设计简要描述 (三) 程序清单 (四) 结果分析 (五) 调试报告 (六) 实验小结 (一) 问题描述不使用任何机器学习框架,仅仅通过Numpy库构建一个最简单的 ...
MLP 之手写数字识别
0. 前言前面我们利用 LR 模型实现了手写数字识别,但是效果并不好(不到 93% 的正确率). LR 模型从本质上来说还只是一个线性的分类器,只不过在线性变化之后加入了非线性单调递增 sigmoi ...

numpy手写mlp

DogeTrainer.py

DogeNet.py

DogeLayer.py

MLP.py

numpy手写mlp相关推荐

最新文章

热门文章