吴恩达 tensorflow2.0 实践系列课程（1）：基础

基于 tensorflow2.0 的人工智能、机器学习和深度学习简介和基础编程

因为已经比较熟悉了，所以记录得非常简单。

1.1 Introduction - A conversation with Andrew Ng

主讲：Laurence Moroney

Learn how to code in TensorFlow and the difference between traditional programming paradigms versus the machine learning and deep learning programming paradigms.

1.2 A primer in machine learning

Traditional Programming VS Machine Learning

给定一堆我们平时见到的样例（answes），让 machine 去寻找其中的 rules。
人为设定较为完善的规则很难，比如走路、跑步、骑车，甚至打高尔夫细节很多，各有差异。但是可以给 machine 很多例子，给定 answer，让 machine 寻找其中的 rules。

1.3 The ‘Hello World’ of neural networks

核心：machine 在模仿人，看到两个变量关系时，试图 guess，guess 答案之后，再看看 guess 得怎么样，逐步迭代。

model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])])
model.compile(optimizer='sgd', loss='mean_squared_error')xs = np.array([], dtype=float])
ys = np.array([], dtype=float)model.fit(xs, ys, epoch=500)print(model.predict([10.0]))

这里，结果接近标准答案，但并不一定会是标准答案：

训练数据很少；
神经网络按照概率来输出预测。

1.4 Working through ‘Hello World’ in Tensorflow and Python

使用的 Googlo Colab，需要科学上网。

loss 会越来越小。

2.1 Conversation with Andrew Ng

神经网络处理直线是 ‘Hello World，下面仍然沿用上面整体的流程模板，使用图像数据集，来完成 computer vision 的任务。

2.2 An introduction to computer vision

数据集：

Fashion MNIST
70k Images
10 Categories
Images are 28 × 28
Can train a neural net！
binary 0 or 255
single image’size is 28 × 28 bytes
在 tensorflow 中有 dataset api

2.3 Writing code to load training data

fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

2.4 Coding a Computer Vision Neural Network

定义模型结构

model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation=tf.nn.relu),keras.layers.Dense(10, activation=tf.nn.softmax)
])

2.5 Working through a Notebook for computer vision

检查数据

import matplotlib.pyplot as plt
plt.imshow(training_image[0])
print(training_labels[0])
print(trainig_images[0])

数据标准化

traing_images = traning_images / 255.0
test_images = test_images / 255.0

编译、训练和评估

model.compile(optimizer=tf.train.AdamOptimizer(),
# 无需对 label 进行 one-hot 编码
loss='sparse_categorical_crossentropy')model.fit(training_images, training_labels, epochs=5)model.evaluate(test_images, test_labels)

2.6 Using Callbacks to control training

如何停止训练：使用 callbacks。

Class myCallback(tf.ketas.callbacks.Callback):def on_epoch_end(self, epoch, logs={}):if(logs.get('loss')<0.4):print("\nLoss is low so cancelling training!")self.model.stop_traing = Truecallbacks = myCallback()
model.fit(training+images, training_labels, epochs=5, callbacks=[callbacks])

2.7 Work through a notebook with Callbacks

3.1 Conversation with Andrew Ng

增加卷积处理。

3.2 What are convolutions and pooling

即使图片被缩放到 28 × 28，已经相对很小了，但是有没有可能再将其压缩成一些重要的特征。
卷积核就是滤波器，根据卷积核中的参数，可以提取原图中不同的特征，比如不同方向的边缘等。

3.3 Implementing convolutional layers

model = tf.keras.models.Sequential([tf.keras.layers.Conv2D(64, (3, 3), activation='relu', input_shape=(28, 28, 1)),tf.keras.layers.MaxPooling2D(2, 2),tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),tf.keras.layers.MaxPooling2D(2, 2),tf.keras.layers.Flatten(),tf.keras.layers.Dense(128, activation='relu'),tf.karas.layers.Dense(10, activation='softmax')
])

3.4 Implementing pooling layers

卷积层和池化层都可以起到简化信息/特征的作用，通过 model.summary() 可以查看模型中每层的变化。

3.5 Improving the Fashion classfier with convolutions

可视化

import matplotlib.pyplot as plt
f, axarr = plt.subplot(3, 4)
FIRST_IMAGE = 0
SECONDE_IMAGE = 23
THIRD_IMAGE = 28CONVOLUTION_NUMBER = 1
from tensorflow.keras import models
layer_outputs = [layer.output for layer in model.layers]activation_model = tf.keras.models.Model(input=model.input, output=layer_output)for x in range(0, 4):f1 = activation_model.predict(test_image[FIRST_IMAGE].reshape(1, 28, 28, 1))[x]axarr[0, x].imshoW(f1[0, :, :, CONVOLUTION_NUMBER], cmap='inferno')axarr[0, x].grid(False)f2 = activation_model.predict(test_image[SECOND_IMAGE].reshape(1, 28, 28, 1))[x]axarr[1, x].imshoW(f2[0, :, :, CONVOLUTION_NUMBER], cmap='inferno')axarr[1, x].grid(False)f3 = activation_model.predict(test_image[THIRD_IMAGE].reshape(1, 28, 28, 1))[x]axarr[2, x].imshoW(f3[0, :, :, CONVOLUTION_NUMBER], cmap='inferno')axarr[2, x].grid(False)

3.6 Walking through convolutions

卷积基本操作。

4.1 A conversation with Andrew Ng

4.2 Understanding ImageGenerator

API for 生成训练数据。

from tensorflow.keras.preprocessing.image
import ImageDataGenerator
train_datagen = ImageDataGenerator(rescale=1./255)# 从目录生成训练数据，子目录的名字就是其内图片的 label
train_generator = train_datagen.flow_from_directory(train_dir,target_size=(300, 300),batch_size=128,class_mode='binary'
)test_datagen = ImageDataGenerator(rescale=1./255)# 从目录生成训练数据，子目录的名字就是其内图片的 label
validation_generator = test_datagen.flow_from_directory(validation_dir,target_size=(300, 300),batch_size=32,class_mode='binary'
)

4.3 Defining a ConvNet to use complex images

输入 300 × 300
3 层卷积 + 3 层池化
最后输出一个神经元，激活用 sigmoid，来处理二分类问题；
也可以用两个神经元，激活用 softmax，不过效率低一点。

参数量：

(3 × 3 × 3 + 1) × 16 = 448
(3 × 3 × 16 + 1) × 32 = 4640
(3 × 3 × 32 + 1) × 64 = 18496
(78400 + 1) × 512 = 40,141,312
(512 + 1) × 1 = 513


model = tf.keras.models.Sequential([tf.keras.layers.Conv2D(16, (3, 3), activation='relu', input_shape=(300, 300, 3)),tf.keras.layers.MaxPooling2D(2, 2),tf.keras.layers.Conv2D(32, (3, 3), activation='relu'),tf.keras.layers.MaxPooling2D(2, 2),tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),tf.keras.layers.MaxPooling2D(2, 2),tf.keras.layers.Flatten(),tf.keras.layers.Dense(512, activation='relu'),tf.karas.layers.Dense(1, activation='sigmoid')
])

4.4 Training the ConvNet with fit_generator

# RMSprop 可以调整学习率
from tensorflow.keras.optimizers import RMSprop# 因为现在是二分类，所以不再用多分类的 categorical_crossentropy，而是使用 binary_crossentropy
model.compile(loss='binary_crossentropy', optimizer=RMSprop(lr=0.001), metrics=['acc'])# 对应数据使用 generator，fit 这里也是用 generator
history = model.fit_generator(train_generator, steps_per_epoch=8, # 根据数据集大小和 batchsize 计算的epochs=15,validation_data=validation_generator,validation_steps=8,   # 根据数据集大小和 batchsize 计算的verbose=2)

4.5 Walking through developing a ConvNet

4.6 Walking through training the ConvNet with fit_generator

4.7 Adding antomatic validation to test accuracy

4.8 Exploring the impact of compressing images

数据不能过度压缩或者减量，会过拟合（相比来讲就是模型参数变多了）。