神经网络（单层感知器）

概念

单层感知器算法是神经网络算法中结构最简单的模型，作为一种线性分类器，可以高效快速地解决线性可分的问题。

设计的感知器结构如下：

感知器实例：

感知器的另一种结构：（去掉了b，改为一固定输入x0）

感知器学习规则：

学习率：一般取在0~1之间

学习率太大容易造成权值调整不稳定

学习率太小，权值调整太慢，迭代次数太多

模型收敛条件：误差小于预先设定的某个较小的值

两次迭代之间的权值变化很小

设定最大迭代次数，超过次数即停止

程序

分类问题

案例：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1，(1,1),(0,2)这两个点的标签为-1，构建神经网络来分类。

思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们采用神经元（感知器）的第二种结构，把偏置当做一个节点，这样我们需要3个输入节点。

输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)
数据对应的标签为(1,1,-1,-1)
初始化权值w 0 ,w 1 ,w 2 取-1到1的随机数
学习率(learning rate)设置为0.11
激活函数为sign函数

第一步：导库、初始化参数

import numpy as np
import matplotlib.pyplot as plt#输入数据
X = np.array([[1,3,3],[1,4,3],[1,1,1],[1,0,2]])
#标签
Y = np.array([[1],[1],[-1],[-1]])#m个输入，n个输出→m行n列
#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

第二步：权值更新

def update():global X,Y,W,lrO = np.sign(np.dot(X,W)) # shape:(3,1)# /int(X.shape[0])  这里是求误差平均值，防止累计误差太大W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])W = W + W_C

第三步：训练

for i in range(100):update()#更新权值print(W)#打印当前权值print(i)#打印迭代次数O = np.sign(np.dot(X,W))#计算当前输出  if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束print('Finished')print('epoch:',i)break#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1,0]
y2 = [1,2]#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)xdata = (0,5)plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

异或问题

异或：0^0 = 0；0^1 = 1；1^0 = 1；1^1 = 0

第一步：调库、初始化参数、权值更新

import numpy as np
import matplotlib.pyplot as plt#输入数据
X = np.array([[1,0,0],[1,0,1],[1,1,0],  [1,1,1]])
#标签
Y = np.array([[-1],[1],[1],[-1]])#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0#权值更新
def update():global X,Y,W,lrO = np.sign(np.dot(X,W)) # shape:(3,1)W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])W = W + W_C

第二步：训练

for i in range(100):update()#更新权值print(W)#打印当前权值print(i)#打印迭代次数O = np.sign(np.dot(X,W))#计算当前输出  if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束print('Finished')print('epoch:',i)break#正样本
x1 = [0,1]
y1 = [1,0]
#负样本
x2 = [0,1]
y2 = [0,1]#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)xdata = (-2,3)plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

这说明这是一个非线性问题，单层感知器并不能很好的解决这类非线性问题。

这是我学习覃秉丰老师的《机器学习算法基础》的自学笔记，课程在B站中的地址为：机器学习算法基础-覃秉丰_哔哩哔哩_bilibili