神经网络与深度学习学习笔记（一）——基本概念
1.什么是神经网络和深度学习
随着神经科学、认知科学的发展，我们逐渐知道人类的智能行为都和大脑活动有关。受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络，简称神经网络。在机器学习领域，神经网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数。
典型的神经元结构大致可分为细胞体和细胞突起：
（1） 细胞体（Soma）中的神经细胞膜上有各种受体和离子通道，胞膜的受体可与相应的化学物质神经递质结合，引起离子通透性及膜内外电位差发生改变，产生相应的生理活动：兴奋或抑制。
（2） 细胞突起是由细胞体延伸出来的细长部分，又可分为树突和轴突．
a ) 树突（Dendrite）可以接收刺激并将兴奋传入细胞体。每个神经元可以有一或多个树突。
b ) 轴突（Axon）可以把自身的兴奋状态从胞体传送到另一个神经元或其他组织。每个神经元只有一个轴突。
神经元可以接收其他人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的神经元的信息，也可以发送信息给其他神经元。神经元之间没有物理连接，两个“连接”的神经元之间留有20纳米左右的缝隙，并靠突触（Synapse）进行互联来传递息，形成一个神经网络，即神经系统。突触可以理解为神经元之间的连接“接口”，将一个神经元的兴奋状态传到另一个神经元。一个神经元可被视为一种只有两种状态的细胞：兴奋和抑制。神经元的状态取决于从其他的神经细胞收到的输入信号量，以及突触的强度（抑制或加强）。当信号量总和超过了某个阈值时，细胞体就会兴奋，产生电脉冲。电脉冲沿着轴突并通过突触传递到其他神经元。下图给出了一种典型的神经元结构。
人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。
而机器学习（Machine Learning，ML）就是让计算机从数据中进行自动学习，得到某种知识（或规律）。
以手写体数字识别为例，我们需要让计算机能自动识别手写的数字。比如下图中的例子，识别图中手写的数字。要识别手写体数字，首先通过人工标注大量的手写体数字图像（即每张图像都通过人工标记了它是什么数字），这些图像作为训练数据，然后通过学习算法自动生成一套模型，并依靠它来识别新的手写体数字。这个过程和人类学习过程也比较类似，我们教小孩子识别数字也
是这样的过程。这种通过数据来学习的方法就称为机器学习的方法。
图片来源：LeCunY,CortesC,BurgesCJ,1998. MNISThandwrittendigitdatabase[EB/OL]
2.基本概念
首先介绍机器学习中的一些基本概念：样本、特征、标签、模型、学习算法等。
一个标记好特征以及标签的个体看作一个样本（Sample），也经常称为示例（Instance）。一组样本构成的集合称为数据集（Data Set）。 在很多领域，数据集也经常称为语料库（Cor-
pus）。一般将数据集分为两部分：训练集和测试集。训练集（Training Set）中的样本是用来训练模型的，也叫训练样本（Training Sample），而测试集（Test Set）中的样本是用来检验模型好坏的，也叫测试样本（Test Sample）。我们通常用一个
神经网络与深度学习学习笔记（一）——基本概念相关推荐
- 《基于卷积神经网络的深度迁移学习，用于燃气轮机燃烧室的故障检测》论文阅读
目录 突出 抽象 引言 1.1动机 1.2文献综述获得的结论 1.3贡献 1.4组织 2方法 2.1燃汽轮机组故障知识共享 2.2迁移学习 2.3 基于卷积神经网络的深度迁移学习 2.4用于燃气轮机燃 ...
- 读懂深度迁移学习，看这文就够了 | 赠书
百度前首席科学家.斯坦福大学副教授吴恩达(Andrew Ng)曾经说过:迁移学习将是继监督学习之后的下一个促使机器学习成功商业化的驱动力. 本文选自<深度学习500问:AI工程师面试宝典> ...
- 赠票 | 深度强化学习的理论、算法与应用专题探索班
文末有数据派赠票福利呦! 深度强化学习是人工智能领域的一个新的研究热点.它以一种通用的形式将深度学习的感知能力与强化学习的决策能力相结合,并能够通过端对端的学习方式实现从原始输入到输出的直接控制.自提 ...
- 线下报名 | YOCSEF TDS：深度强化学习的理论、算法与应用
时间:7月29日9:00-17:20 地点:北京中科院计算所,一层/四层报告厅(暂定) 报名方式:1.报名链接:http://conf2.ccf.org.cn/TDS 2.点击文末阅读原文报名 3 ...
- 四两拨千斤！深度主动学习综述2020
本文转载自知乎,为最近新出的论文 A Survey of Deep Active Learning 中文版介绍,原文作者调研了189 篇文献综述了深度主动学习的进展.文章较长,建议先收藏再阅读. ht ...
- (ICLR2019)论文阅读-使用深度增强学习框架的基于场景先验知识的视觉语义导航
论文地址: VISUAL SEMANTIC NAVIGATION USING SCENE PRIORS 1. 介绍 论文的目标是使用场景先验知识来改善陌生场景中未知物体的导航效果,具体地,如下图所 ...
- 深度主动学习综述2020
A Survey of Deep Active Learning 中文版仅作参考,以正式的pdf版为主. https://arxiv.org/pdf/2009.00236.pdf西北大学等最新< ...
- 基于值的深度强化学习算法
目录 DQN2013 -- Playing Atari with Deep Reinforcement Learning DQN2015 -- Human-level control through ...
- 【深度学习】深度强化学习初学者指南
一.说明 GAN(Generative Adversarial Networks)是一种深度学习模型,它由两个神经网络组成:一个生成网络和一个判别网络.生成网络学习如何生成类似于给定数据集的新数据,而 ...
- 吴恩达《神经网络与深度学习》精炼笔记（5）-- 深层神经网络
上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参 ...
最新文章
- Windows PowerShell 2.0语言之字面类型系统
- mysql 5.6.34.rpm_离线安装mysql5.6及依赖_centos7离线安装mysql5.6.34
- [ZJOI2009]假期的宿舍
- 单片机读tf卡c语言程序,单片机读写SD卡，MMC卡，MiniSD，TF卡，MicroSD卡
- Oracle数据库-主键（primary key）、外键（foreign key）、候选键（candidate key）、超键（super key）和references总结...
- 局域网arp攻击_网络安全基础之ARP攻击和防御
- Javaweb---监听器
- linux文本编辑命令vim查找,Linux编辑器vi中文本搜索与替换操作
- OpenEuler简介与安装
- 嵌入式开发好用的工具集合
- “腾讯再有本事，也要出海讨生活”
- 英雄无敌6服务器在哪个文件夹,魔法门英雄无敌6：生物-墓园资料
- 李宏毅2020机器学习笔记2——CXK
- 安装QT时遇到：canot start “d:\qt\vcredist\vcredist_x64.exe/norestart/q“:process failed to start :请求的操作需要提升
- Android 11 正式发布：更方便的操作和更安全的隐私
- 电脑键盘指法的正确练习步骤
- 腾讯6大核心业务打造坚固护城河
- NNI 2 用于实例
- php 图片相似度对比算法,php比较图片相似度代码示例
- vant上传图片时压缩图片