深度学习笔记（一）了解深度学习

深度学习关键词定义：
训练样本：机器通过“看/学习”未知系统的输入-输出对而达到的某种自适应理解，对于未知系统的输入-输出叫做训练样本。
泛化：机器通过对未知系统的训练样本进行学习后，得到的具有举一反三的能力叫做泛化。
损失函数：设训练样本为D={Z1,Z2,…,Zn}，其中Zi表示未知系统P（z）中采样得到的数据（每个数据都可以表示一个输入-输出对），规定惩罚函数为L(f,Z)，L的参数为机器学习到的规则f和独立于训练样本集的验证样本集Z，惩罚函数L的返回值为实数标量，称为惩罚值，又叫损失函数（Loss），损失函数是描述机器学习程度的函数，对于一个可靠机器，其损失函数应该是最小否则会让机器陷入一个无止境的重复计算过程。
机器学习算法：为使机器能够从数据D中学习游戏规则f并积攒经验，需要一个可靠算法，这个可以运行到机器中的算法称为机器学习算法。
训练好的模型：机器通过机器学习算法学习积攒经验后，能够自适应的处理未知新系统的输入输出，不断优化，达到最优时，称为训练好的模型。
机器学习的三个必要数据：（1）训练集，机器学习的样本。（2）验证集，机器学习阶段用于评估得分和损失，验证是否达到预期要求。（3）测试集，机器学习结束后，实战阶段评估得分。可以将机器学习理解为我们平时练题（训练集）模拟考试（样本集）最后高考（测试集）一样。
深度学习技术：ReLU、Dropout等技术。
传统机器学习在处理原始形态的自然数据方面有很大的局限性，多年来，构建模式识别或者是机器学习需要技艺较为高超的工程师和经验丰富的领域专家进行设计特征提取器，将原始数据（如图像的像素值）转化为合适的中间表示形式或特征向量，学习子系统（分类器）然后对输入数据进行检测或分类。
传统机器学习处理模式，为单一地对原始数据进行设定对应类别特征提取器，提取特征后通过设计分类器/检测器对所提取特征进行检测/分类，然后得出处理结果，例如图像处理中的单对杂草图像的颜色特征、纹理特征、长宽比特征、曲率特征、位置特征等处理。

深度学习的前身是表示学习，在表示系统中，直接以原始数据形式提供机器输入，自动发现用于检测和分类的表示。深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一层表示转化为更高层、更抽象的表示，当一个系统含有足够多的这样简单的的非线性模块构建时，就可以学习非常复杂的功能。
关于分类问题，高层表示能够强调更重要/中肯的信息，且同时能够抑制无关的背景信息。例如，一幅图像总是以像素值数组的形式提供网络输入，第一层学习到的特征为边缘信息，即图像的某个边缘是否存在特定朝向的边缘；第二层检测边缘信息按特定方式排列组成的基本图案，而不关心边缘位置的变化；第三层将第二层的基本图案组合起来，对应典型物体的部件，后续层检测由部件组成的物体。
深度学习只需要少量的人工介入，非常适合当前大规模计算系统和海量数据。当前正在开发的深度神经网络算法和架构将加快深度学习的进程。

深度学习之监督学习：深度学习不论深浅，最普遍的是监督学习。
假如我们需要设计可以分类图像（包含房子、车子、人、动物等）的系统，首先应先收集大量关于房子、车子、人、动物的图像数据集，每张图像都按照其类别进行打标签。
在训练阶段，向机器送入一张图像，产生一个得分向量，每个元素对应一个类别，我们希望真实类别在所有类别中得分最高，我们通过计算目标函数来计算输出得分与期望形式得分的差异（或距离），之后我们通过更改机器内部的可调参数来降低这个差异。可调参数为实数，可被称为权值，针对权值的人为更改而降低差异的系统便是监督学习。在很多监督学习中，人工特征上使用线性分类器，二分类线性分类器计算特征向量元素的加权和。如果加权和高于某个门槛，输入将被分类到一个特定的类别。
但是线性分类器具有非常明显的局限性，在处理数据时，线性（“浅层”）分类器表现的非常乏力，它只能简单的将数据二分化，并不能够适用于交叉特征，所以深度学习需要一个功能更加强大的分类器，能够自主学习、分类，这是深度学习优势的核心。
在应用机器学习算法到深度学习中时，通常采用梯度下降法对采用的算法进行训练，一般地，有批量梯度下降法（BGD）、随机梯度下降法（SGD）和小批量梯度下降法（MBGD），其中比较常用的是SGD，梯度下降的异同可参考https://www.cnblogs.com/maybe2030/p/5089753.html。

深度学习笔记（一）了解深度学习相关推荐

深度学习笔记4：深度神经网络的正则化
出处:数据科学家养成记深度学习笔记4:深度神经网络的正则化恍恍惚惚,又20天没写了.今天笔者要写的是关于机器学习和深度学习中的一项关键技术:正则化.相信在机器学习领域摸爬滚打多年的你一定知道正则化 ...
学习笔记之——基于深度学习的图像超分辨率重建
最近开展图像超分辨率( Image Super Resolution)方面的研究,做了一些列的调研,并结合本人的理解总结成本博文~(本博文仅用于本人的学习笔记,不做商业用途) 本博文涉及的paper已 ...
CS230(DeepLearning)Leture2的学习笔记(2)之深度学习
CS230_Leture2的学习笔记2之深度学习我们先来回顾下第二章的学习目标: 而对于第二章Week1的学习目标已经完成,具体学习内容参考博主另一篇博客,站内搜索 CS230(Dee ...
【学习笔记】Pytorch深度学习—Batch Normalization
[学习笔记]Pytorch深度学习-Batch Normalization Batch Normalization概念 `Batch Normalization ` `Batch Normalizat ...
Hadoop学习笔记—18.Sqoop框架学习
Hadoop学习笔记-18.Sqoop框架学习一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据 ...
JavaScript学习笔记（十）——学习心得与经验小结
JavaScript学习笔记(十)--学习心得与经验小结目前我先列好提纲,利用每晚和周末的闲暇时间,将逐步写完 ^_^ 转载于:https://www.cnblogs.com/mixer/archi ...
oracle 百万记录 cache,学习笔记:通过案例深入学习In-Memory Database Cache 总结配置过程...
天萃荷净详细记录关于In-Memory Database Cache配置方法与使用案例一.Oracle数据库创建相关用户和权限 1.创建timesten用户 store information a ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
Hadoop学习笔记—16.Pig框架学习
Hadoop学习笔记-16.Pig框架学习一.关于Pig:别以为猪不能干活 1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin, ...
梅科尔工作室-Django学习笔记（二次学习）（3）
本次学习的是如何用django实现前端鸿蒙OS登录下面介绍一下本次的操作过程. 1.首先创立MySQL数据并将数据库导入到django当中其中:导入数据库的操作: 2.配置urls 对应新建的pe ...

深度学习笔记（一）了解深度学习

深度学习笔记（一）了解深度学习相关推荐

最新文章

热门文章