有人说翻译成“激活函数”（activation function）会更好，因为主要作用是分割数据，判断该“神经”是否被激活。比如说，当你判断面前的动物是否是一只猫的时候，你会从各个部分去判断。比如眼睛，当你觉得确实像猫的眼睛时，判断眼睛的神经数值会特别高，如果觉得比较像，则会相对低一点，在神经网络算法中，可以说，激励函数就是分割这个神经判断是与否的准则。

某些数据是可以被线性分割的，但是也有很多数据是不可被线性分割的，因此，激励函数也是多种多样的。

以下是一个最简单的三层神经网络结构，代码中都有注释，输入层，隐藏层，输出层。其中，输入层，输出层为1个神经元，隐藏层为10个神经元，并且训练1000次。目的是为了让x_data数据与y_data数据进行拟合。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as pltdef add_layer(inputs,in_size,out_size,activation_function=None): #activation_function=None线性函数Weights = tf.Variable(tf.random_normal([in_size,out_size])) #Weight中都是随机变量biases = tf.Variable(tf.zeros([1,out_size])+0.1) #biases推荐初始值不为0Wx_plus_b = tf.matmul(inputs,Weights)+biases #inputs*Weight+biasesif activation_function is None:outputs = Wx_plus_belse:outputs = activation_function(Wx_plus_b)return outputs#创建数据x_data，y_data
x_data = np.linspace(-1,1,300)[:,np.newaxis] #[-1,1]区间，300个单位，np.newaxis增加维度
noise = np.random.normal(0,0.05,x_data.shape) #噪点
y_data = np.square(x_data)-0.5+noisexs = tf.placeholder(tf.float32,[None,1])
ys = tf.placeholder(tf.float32,[None,1])
#三层神经，输入层（1个神经元），隐藏层（10神经元），输出层（1个神经元）
l1 = add_layer(xs,1,10,activation_function=tf.nn.relu) #输入层
prediction = add_layer(l1,10,1,activation_function=None) #隐藏层#predition值与y_data差别
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1])) #square()平方,sum()求和,mean()平均值train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #0.1学习效率,minimize(loss)减小loss误差init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init) #先执行init#可视化
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data,y_data)
plt.ion() #不让show() block
plt.show()#训练1k次
for i in range(1000):sess.run(train_step,feed_dict={xs:x_data,ys:y_data})if i%50==0:try:ax.lines.remove(lines[0]) #lines建一个抹除一个except Exception:pass#print(sess.run(loss,feed_dict={xs:x_data,ys:y_data})) #输出loss值#可视化prediction_value = sess.run(prediction,feed_dict={xs:x_data,ys:y_data})lines = ax.plot(x_data,prediction_value,'r-',lw=5) #x_data X轴，prediction_value Y轴，'r-'红线，lw=5线宽5plt.pause(0.1) #暂停0.1秒

结果：