《深度学习入门——基于Python的理论与实现》斋藤康毅学习笔记（二）

第二章 感知机
1逻辑门
错误：python 出现的异常
inconsistent use of tabs and spaces in indentation
意思是：在缩进中不一致地使用制表符和空格
解决：将所有tabs 改成空格。（所以python需要很严格的格式，对齐很重要）
原因：自动换行导致tabs 出现
1.1 与门

偏置b,是整根神经元被激活的容易程度

第三章****从感知机到神经网络
1 activate function
激活函数，正如其名，决定如何激活输入信号总和
1.1sigmoid函数实现

1.2阶跃函数
1.3ReLU函数（修正线性单元）

2 多维数组/ 矩阵
2.1 矩阵乘积

2.2多层神经网络

按神经网络实现惯例重新整理以上代码
init_network() 初始化权重和偏置
forword() 封装了将输入信号转换为输出信号的处理过程。与之后的backword()对比学习

2.3 输出层设计
2.3.1 softmax
a)函数实现

python函数

注意：由于softmax 指数函数容易出现溢出问题
处理：将输入信号减去信号中的最大值，再做处理

b) softmax 函数的征
softmax输出在0.0到1.0之间，且其输出总值和为1，并将其输出解释为概率
softmax函数图像实现

2.3 手写数字识别
2.3.1下载tensorflow
参考以下博文，从Anaconda 下载tensorflow

https://blog.csdn.net/weixin_40327145/article/details/83149028

如下图等待下载安装
因为权限问题，tensorflow 再次安装失败，但是好像在这个过程中，我把自己电脑的pip升级了。之后又重新寻找文，
https://jingyan.baidu.com/article/c74d6000a368090f6a595d95.html
终于，我关机后，第二天重新找文安装tensorflow，下载安装都没有问题。
但是在import tensorflow 时出现了问题，ImportError: DLL load failed: 动态链接库(DLL)初始化例程失败

反思(绕坑):
1）自己的电脑配置不够，tensorflow 安装cpu版本就行，
2）进入cmd时，以管理员身份打开，避免后期出现权限问题无法安装
3）电脑cpu版本过低，无法支持高版本tensorflow ，改为1.5
参照https://blog.csdn.net/lchzh1994/article/details/81223726
a. 卸载目前安装的tensorflow：pip uninstall tensorflow
b. 安装旧版本的tensorflow：pip install --ignore-installed --upgrade tensorflow==1.5（注意上文有误“tensorflow ==1.5”这里tensorflow后面不要加空格键，否则会报错）

安装成功，输入activate tensorflow 又出现错误

所以我直接进入python环境，直接import tensorflow as tf,再测试，成功

2.3.2 MNIST数据集下载
根据下文
https://www.jianshu.com/p/83684c06fff5
注意：
1）下面的地址是 MNIST数据集自定义存储的位置,

2）在编写执行代码过程中，介意理解以下内容，并且注意格式空格http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html
运算结果正确如下

2.3.3显示MNIST图像
学习以下博文
python读取,显示，保存mnist图片
https://www.cnblogs.com/zhouyang209117/p/6436751.html
1）我的mnist数据保存路径
E:\Program Files\Python3.5\mnist_data\t10k-images.idx3-ubyte
2）大端方式
https://blog.csdn.net/zx013650/article/details/80068436
（我把自己的电脑内存条升级，并且加了固态硬盘，使用win10+Anoconda3 安装各种软件，Anaconda 果然很好用！最近还要安装VTK,又要耽误学习进度）
3）测试代码成功

第四章
主要是双层神经网络的学习，我在博文上学习了如何使用tensroflow 识别mnist,便跳过此章
第五章误差反向传播
https://blog.csdn.net/u013527419/article/details/53906845
1.计算图
计算图圆圈表示节点，圆圈内表示计算方式（处理方式，函数，或加减乘除），箭头上的值表示被操作的变量（直观上要区别于神经网络系统的构图成分和意义），计算图可以集中精力于局部计算。
(书P125) ,如：买两个苹果加上税率得到总支付金额，假如，想知道苹果上涨的价格会在多大程度上影响最终支付结果，则需要计算导数，既支付金额L关于苹果价格x 的导数。若导数为1.1，则苹果每上升一元，则最终所支付金额多1.1元
2.反向传播基于链式求导
加法节点:直接向下游传递从上游接收的数字
乘法节点:xy=z，向下游传递翻转值
“/”节点:表示y=1/x,
“exp”节点:表示y=exp(x)
3.反向传播中矩阵的问题
4.神经网络中正向传播中的矩阵乘积运算在几何学中称为“仿射变换”(Affine）

《深度学习入门——基于Python的理论与实现》斋藤康毅学习笔记（二）相关推荐

深度学习入门-基于Python的理论与实现-斋藤康毅（待续）
神经网络的学习损失函数一般用均方误差和交叉熵误差函数均方误差: 交叉熵误差函数: 基于im2col展开因为老实做卷积,会有很多for循环,而且很慢所以用im2col函数来避免使用for循环 ...
深度学习入门基于Python的理论与实现
作者:斋藤康毅出版社:人民邮电出版社品牌:iTuring 出版时间:2018-07-01 深度学习入门基于Python的理论与实现
《深度学习入门——基于Python的理论与实现》笔记
PS:写这篇博客主要是记录下自己认为重要的部分以及阅读中遇到的些问题,加深自己的印象. 附上电子书及源代码: 链接:https://pan.baidu.com/s/1f2VFcnXSSK-u3wuvg ...
深度学习入门-基于Python的理论入门与实现源代码加mnist数据集下载推荐
深度学习入门-基于Python的理论入门与实现源代码加mnist数据集下载推荐书籍封面 1-图灵网站下载书里也说了,可以图灵网站下载https://www.ituring.com.cn/book/ ...
《深度学习入门-基于Python的理论与实现》学习笔记1
<深度学习入门-基于Python的理论与实现>学习笔记1 第一章Python入门 Python是一个简单.易读.易记的编程语言,可以用类似于英语的语法进行编写程序,可读性高,且能写出高性能 ...
《深度学习入门--基于python的理论与实现》——斋藤康毅读书笔记
<深度学习入门--基于python的理论与实现>读书笔记(第二章) 写在前面第二章:感知机 2.1感知机是什么 2.2简单的逻辑电路 2.2.1与门(and gate) 2.2.2与非门 ...
深度学习入门-基于python的理论与实现（五）误差反向传播法
目录回顾 1 计算图 1.1局部计算 1.2 计算图的优点是什么 1.3 反向传播的导数是怎么求? 1.3.1加法节点的反向传播 1.3.2 乘法节点的反向传播 1.3.3 购买苹果的反向传播 1. ...
深度学习入门基于Python的理论与实现_第一章_Python入门(原创笔记)
前言此书使用Python作为编程语言,尽可能地少使用外部库,从零开始实现深度学习的程序. 此书从简单的机器学习问题开始,最终实现一个能高精度地识别图像的系统. 此书以图像识别为主题,主要学习使用深度 ...
python从入门到精通邮电出版社_《人民邮电出版社Python深度学习入门:基于PYTHON的理论与实现》【价格目录书评正版】_中国图书网...
译者序 xiii 前言 xv 第 1 章 Python入门 1 1.1 Python是什么 1 1.2 Python的安装 2 1.2.1 Python版本 2 1.2.2 使用的外部库 2 1.2. ...

《深度学习入门——基于Python的理论与实现》斋藤康毅学习笔记（二）

《深度学习入门——基于Python的理论与实现》斋藤康毅学习笔记（二）相关推荐

最新文章

热门文章