学习目标：

tf.keras softmax 多分类
对数几率回归解决的是二分类的问题，对于多个选项的问题，我们可以使用softmax函数。它是对数几率回归在 N 个可能不同的值上的推广。

学习过程：

神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？这就是Softmax层的作用。
softmax要求每个样本必须属于某个类别，且所有可能的样本均被覆盖。
softmax分类
softmax个样本分量之和为 1，当只有两个类别时，与对数几率回归完全相同。
tf.keras交叉熵
在tf.keras里，对于多分类问题我们使用categorical_crossentropy 和sparse_categorical_crossentropy来计算softmax交叉熵。

# 学习案例：

Fashion MNIST数据集。我们将使用 60000 张图像训练网络，并使用 10000 张图像评估经过学习的网络分类图像的准确率。可以从 TensorFlow 直接访问 Fashion MNIST，只需导入和加载数据即可。

代码：

标签是一列数值进行训练

 import tensorflow as tfimport pandas as pdimport numpy as npimport matplot.pyplot as plt#导入数据(train_image, train_label), (test_image, test_label)= tf.keras.datasets.fashion_mnist.load_data()train_label.shape#(60000,)train_iamge.shape#(60000, 28, 28)test_image.shape, test_label.shape#((10000, 28, 28), (10000,))plt.imshow(train_image[0])np.max(train_image[0])#255train_lable#  array([9, 0, 0, ..., 3, 0, 5], dtype=uint8)#建立模型model = tf.keras.Sequential()model.add(tf.keras.layers.Flatten(input_shape=(28,28)))  # 28*28model.add(tf.keras.layers.Dense(128, activation='relu'))model.add(tf.keras.layers.Dense(10, activation='softmax'))#模型概述model.summary()#模型编译model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['acc'])#模型训练history = model.fit(train_image, train_lable, epochs=5)#绘制图表plt.plot(history.epoch, history.history.get('acc'), label='acc')plt.plot(history.epoch, history.history.get('val_acc'), label='val_acc')plt.legend()plt.show()#模型测试model.evaluate(test_image, test_label)

便签转化成one_hot 编码重新建模训练

train_label_onehot = tf.keras.utils.to_categorical(train_label)train_label_onehot[-1]#array([0., 0., 0., 0., 0., 1., 0., 0., 0., 0.], dtype=float32)test_label_onehot = tf.keras.utils.to_categorical(test_label)test_label_onehot#array([[0., 0., 0., ..., 0., 0., 1.],[0., 0., 1., ..., 0., 0., 0.],[0., 1., 0., ..., 0., 0., 0.],...,[0., 0., 0., ..., 0., 1., 0.],[0., 1., 0., ..., 0., 0., 0.],[0., 0., 0., ..., 0., 0., 0.]], dtype=float32)#建立模型model = tf.keras.Sequential()model.add(tf.keras.layers.Flatten(input_shape=(28,28)))  # 28*28model.add(tf.keras.layers.Dense(128, activation='relu'))model.add(tf.keras.layers.Dense(10, activation='softmax'))#模型概述model.summary()#模型编译model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc'])#模型训练history = model.fit(train_image, train_lable, epochs=5)#绘制图表plt.plot(history.epoch, history.history.get('acc'), label='acc')plt.plot(history.epoch, history.history.get('val_acc'), label='val_acc')plt.legend()plt.show()#预测模型predict = model.predict(test_image)test_image.shape #(10000, 28, 28)predict.shape#(10000, 10)predict[0]#array([7.7417062e-05, 1.2555851e-07, 5.2015298e-06, 3.9063170e-06,6.1778355e-06, 1.3308496e-02, 5.2028918e-05, 1.2039219e-02,6.5957895e-05, 9.7444147e-01], dtype=float32)np.argmax(predict[0])#9test_label[0]#9

模型优化，增加网络的深度

 model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation='relu'),keras.layers.Dense(128, activation='relu'),keras.layers.Dense(128, activation='relu'),keras.layers.Dense(10, activation='softmax')
])

抑制过拟合，最好的办法是增加数据，也可用正则化，图像增强，下面是在网络中增加dropout层

 model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation='relu'),keras.layers.Dropout(0.5),keras.layers.Dense(128, activation='relu'),keras.layers.Dropout(0.5),keras.layers.Dense(128, activation='relu'),keras.layers.Dropout(0.5),keras.layers.Dense(10, activation='softmax')
])

总结：两种训练方式的损失函数不一样，分别用了categorical_crossentropy 和sparse_categorical_crossentropy来计算softmax交叉熵。

参考文献：
https://study.163.com/course/introduction/1004573006.htm

tf.keras softmax多分类相关推荐

tf.keras.losses.categorical_hinge 分类铰链损失函数示例
分类铰链预测值应为 {-1, +1} or {0, 1} neg=max((1−正确值)×预测值)neg=max((1-正确值)\times 预测值)neg=max((1−正确值)×预测值) pos ...
TensorFlow 2官方教程 . Keras机器学习基础知识 . 使用TF Hub进行文本分类
写在前面此篇博客转载自tensorflow官方教程中文翻译版: https://www.tensorflow.org/tutorials/keras/text_classification_with ...
【TensorFlow】Keras机器学习基础知识-使用TF.Hub进行文本分类
此笔记本(notebook)使用评论文本将影评分为积极(positive)或消极(nagetive)两类.这是一个二元(binary)或者二分类问题,一种重要且应用广泛的机器学习问题. 本教程演示了使 ...
TensorFlow2.0(二)--Keras构建神经网络分类模型
Keras构建分类模型 1. tf.keras简介 2. 利用tf.keras构建神经网络分类模型 2.1 导入相应的库 2.2 数据读取与展示 2.3 数据归一化 2.4 构建模型 2.5 模型的编 ...
深度学习-Tensorflow2.2-深度学习基础和tf.keras{1}-softmax多分类-06
softmax分类 Fashion MNIST数据集 import tensorflow as tf import pandas as pd import numpy as np import mat ...
tf.keras.activations.softmax 激活函数示例
文章目录 softmax 将值的向量转换为概率分布创建数组计算公式计算过程 tf.keras.activations.softmax实现 numpy实现 softmax 将值的向量转换为概率分布 ...
tf.keras.losses.CategoricalCrossentropy 多分类交叉熵损失函数示例
文章目录计算公式计算过程 tf.keras.losses.CategoricalCrossentropy 实现 numpy 实现 import numpy as np import tensorf ...
tf.keras.activations.sigmoid 激活函数示例
import tensorflow as tf Sigmoid 等价于 2 元素 Softmax,其中第二个元素假定为零.sigmoid 函数始终返回一个介于 0 和 1 之间的值.‎, 用于隐层神经 ...
机器学习(七)——tf.keras搭建神经网络固定模式
一.总纲(一般按照下面6步搭建) import--导入相关模块 train,test--指定训练集与测试集 model = tf.keras.models.Sequential--在Sequentia ...

tf.keras softmax多分类

学习目标：

学习过程：

代码：

tf.keras softmax多分类相关推荐

最新文章

热门文章