MLP

MLP的向量形式：

MLP的损失函数：

感知机求∂L/∂w：

实现

import numpy as np
import matplotlib.pyplot as pltclass MultiPerceptron:def __init__(self):# the shape of w :(n)self._w = Nonedef fit(self, x, y, lr=1e-3, epoch=1000):x = np.asarray(x, np.float32)y = np.asarray(y, np.float32)# (x_features_num,1)self._w = np.zeros([x.shape[1],y.shape[1]])for _ in range(epoch):# 注意这里的实现是ｘ点成ｗy_pred = x.dot(self._w)# acturly it is dL/dwdw = 2*x.T.dot(y_pred - y)self._w -= lr*dwdef predict(self,x):y_pred = np.asarray(x, np.float32).dot(self._w)return np.argmax(y_pred, axis=1).astype(np.float32)

验证

# x =(200,2) ,y = (200,5) y is one-hot vector
x, y = gen_five_clusters()
# now y is a class label
label = np.argmax(y, axis=1)
perceptron = MultiPerceptron()
perceptron.fit(x,y)
visualize2d(perceptron,x,label,draw_background=True)
print("Acc: {:8.6} %".format((perceptron.predict(x) == label).mean()*100))

辅助函数

import numpy as np
import matplotlib.pyplot as pltfrom math import pidef gen_five_clusters(size=200):x = np.random.randn(size) * 2y = np.random.randn(size) * 2z = np.full(size, -1)mask1, mask2 = x + y >= 1, x + y >= -1mask3, mask4 = x - y >= 1, x - y >= -1z[mask1 & ~mask4] = 0z[mask1 & mask3] = 1z[~mask2 & mask3] = 2z[~mask2 & ~mask4] = 3z[z == -1] = 4one_hot = np.zeros([size, 5])one_hot[range(size), z] = 1return np.c_[x, y].astype(np.float32), one_hotdef visualize2d(clf, x, y, padding=0.2, draw_background=False):axis, labels = np.array(x).T, np.array(y)nx, ny, padding = 400, 400, paddingx_min, x_max = np.min(axis[0]), np.max(axis[0])y_min, y_max = np.min(axis[1]), np.max(axis[1])x_padding = max(abs(x_min), abs(x_max)) * paddingy_padding = max(abs(y_min), abs(y_max)) * paddingx_min -= x_paddingx_max += x_paddingy_min -= y_paddingy_max += y_paddingdef get_base(nx, ny):xf = np.linspace(x_min, x_max, nx)yf = np.linspace(y_min, y_max, ny)n_xf, n_yf = np.meshgrid(xf, yf)return xf, yf, np.c_[n_xf.ravel(), n_yf.ravel()]xf, yf, base_matrix = get_base(nx, ny)z = clf.predict(base_matrix).reshape([nx, ny])n_label = len(np.unique(labels))xy_xf, xy_yf = np.meshgrid(xf, yf, sparse=True)colors = plt.cm.rainbow([i / n_label for i in range(n_label)])[labels.astype(np.int)]plt.figure()if draw_background:plt.pcolormesh(xy_xf, xy_yf, z, cmap=plt.cm.Paired)else:plt.contour(xf, yf, z, c='k-', levels=[0])plt.scatter(axis[0], axis[1], c=colors)plt.xlim(x_min, x_max)plt.ylim(y_min, y_max)plt.show()

机器学习：多层感知机原理及实现相关推荐

机器学习-分类之多层感知机原理及实战
多层感知机(Multi-Layer Perceptron) 简介生物神经网络具有相互连接的神经元,神经元带有接受输入信号的树突,然后基于这些输入,它们通过轴突向另一个神经元产生输出信号.使用人工神经 ...
机器学习--多层感知机、卷积神经网络、循环神经网络
目录一.多层感知机二.卷积神经网络三.循环神经网络总结一.多层感知机手工提取特征(用人的知识进行) --> 神经网络来提取特征. 神经网络(可能更懂机器学习)来提取可能对后面的线 ...
DeepLearning tutorial（3）MLP多层感知机原理简介+代码详解
FROM:http://blog.csdn.net/u012162613/article/details/43221829 @author:wepon @blog:http://blog.csdn.n ...
DL之Perceptron：Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略
DL之Perceptron:Perceptron感知器(感知机/多层感知机/人工神经元)的简介.原理.案例应用(相关配图)之详细攻略目录 Perceptron的简介.原理多层感知机实现代码案例 ...
MLP多层感知机（人工神经网络）原理及代码实现
一.多层感知机(MLP)原理简介多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间 ...
机器学习 | MATLAB实现MLP多层感知机newff参数设定（上）
机器学习 | MATLAB实现MLP多层感知机newff参数设定(上) 目录机器学习 | MATLAB实现MLP多层感知机newff参数设定(上) 基本介绍程序设计参考资料基本介绍 newff ...
机器学习 | MATLAB实现MLP多层感知机newff参数设定（下）
机器学习 | MATLAB实现MLP多层感知机newff参数设定(下) 目录机器学习 | MATLAB实现MLP多层感知机newff参数设定(下) 基本介绍程序设计参考资料基本介绍 newff ...
【ML】基于机器学习的心脏病预测研究(附代码和数据集，多层感知机模型)
写在前面: 首先感谢兄弟们的订阅,让我有创作的动力,在创作过程我会尽最大努力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 之前创作过心脏病预测研究文章如下: [ML]基于机器学 ...
机器学习 | MATLAB实现MLP多层感知机模型设计
机器学习 | MATLAB实现MLP多层感知机模型设计目录机器学习 | MATLAB实现MLP多层感知机模型设计基本介绍模型描述模型设计程序设计学习总结参考资料基本介绍多层感知器( ...

机器学习：多层感知机原理及实现

文章目录

MLP

MLP的向量形式：

MLP的损失函数：

感知机求∂L/∂w：

实现

验证

辅助函数

机器学习：多层感知机原理及实现相关推荐

最新文章

热门文章