08softmax分类器

sigmoid函数

softmax分类器：

Softmax的输出（归一化的分类概率）
归一化参见：python人工智能——机器学习——特征工程 5.数据的特征预处理

损失函数：交叉熵损失（cross-entropy loss）

被称作softmax 函数
其输入值是一个向量，向量中元素为任意实数的评分值。

输出一个向量，其中每个元素值在0到1之间，且所有元素之和。

softmax分类的损失函数

损失函数对比

09最优化形象解读

结合人下山的方式考虑，找到一种下山最快的路径。

10梯度下降算法原理

跟随梯度

11反向传播

参见：PaddlePaddle训练营——公开课——AI核心技术掌握——第1章迈入现代人工智能的大门——深度学习的基础算法——反向传播算法简介

12神经网络整体架构

神经网络

激活函数

由于sigmoid会发生梯度消失，因此已经淘汰。

现在常用的激活函数

单层神经网络

双层神经网络

n层神经网络

13神经网络模型实例演示


layer_defs = [];
layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'});
layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net();
net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

简单数据

圆形数据

螺旋数据

随机数据

ConvnetJS demo: toy 2d classification with 2-layer neural network

14过拟合问题解决方案

正则化项在神经网络中的重要作用

越多的神经元，就越能够表达能复杂的，但是神经元太多会导致过拟合现象，并不能很好的体现泛性的概念，因此要优化正则化项。

数据预处理

参见：python人工智能——机器学习——数据的降维
参见：python人工智能——机器学习——特征工程 5.数据的特征预处理

权重初始化

权重要随机初始化！b要全零初始化！

DROP-OUT

解决过拟合的问题

深度学习——02、深度学习入门 8-14相关推荐

2023年的深度学习入门指南(14) - 不能只关注模型代码
2023年的深度学习入门指南(14) - 不能只关注模型代码最近,有一张大模型的发展树非常流行: 这个图是相当不错的,对于加深对于Transformer模型编码器.解码器作用的理解,模型的开源和闭源 ...
人工智能教程第一课深度学习和计算机视觉TensorFlow入门
深度学习学习目标知道什么是深度学习知道深度学习的应用场景 1.什么是深度学习在介绍深度学习之前,我们先看下人工智能,机器学习和深度学习之间的关系: 机器学习是实现人工智能的一种途径,深度学习是 ...
【github干货】主流深度学习开源框架从入门到熟练
文章首发于微信公众号<有三AI> [github干货]主流深度学习开源框架从入门到熟练今天送上有三AI学院第一个github项目 01项目背景目前深度学习框架呈百家争鸣之态势,光是为人 ...
视频教程-深度学习与TensorFlow 2入门实战-深度学习
深度学习与TensorFlow 2入门实战新加坡国立大学研究员龙良曲 ¥399.00 立即订阅扫码下载「CSDN程序员学院APP」,1000+技术好课免费看 APP订阅课程,领取优惠,最少立减5 ...
视频教程-人人都会深度学习之Tensorflow基础入门-深度学习
人人都会深度学习之Tensorflow基础入门大数据工程师/算法工程师/大数据讲师,毕业于西华大学软件工程专业.在大数据领域有着丰富的实战经验. 擅长领域:Spark/Hadoop.算法设计及系统架 ...
五本必读的深度学习圣经书籍，入门 AI 从深度学习开始
原标题:`五本必读的深度学习圣经书籍,入门 AI 从「深度学习」开始` (以下以 Daniel Jeffries 第一人称撰写) 多年来,由于实验室研究和现实应用效果之间的鸿沟,少有人持续研究人工智能 ...
PyTorch 深度学习: 60 分钟极速入门
PyTorch 深度学习: 60 分钟极速入门 2019年年初,ApacheCN组织志愿者翻译了PyTorch1.2版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许 ...
【完结】给新手的12大深度学习开源框架快速入门项目
文/编辑 | 言有三这是一篇总结文,给大家来捋清楚12大深度学习开源框架的快速入门,这是有三AI的GitHub项目,欢迎大家star/fork. https://github.com/longpen ...
wandb（wb）（weights and biases）: 深度学习轻量级可视化工具入门教程
参考文章:wandb: 深度学习轻量级可视化工具入门教程这wandb有点蛋疼啊,说登录https://wandb.ai/authorize?signup=true获取API KEY,但貌似要梯子才能 ...
【强化学习】深度强化学习入门介绍
深度强化学习是一种机器学习,其中智能体(Agent,也翻译作代理)通过执行操作(Action)和查看结果(Reward)来学习如何在环境中采取最佳的动作或策略. 自 2013 年Deep Q-Lear ...

深度学习——02、深度学习入门 8-14