机器学习

在吴恩达老师的课程中，有过对机器学习的定义：
ML：<P T E>
P即performance，T即Task，E即Experience，机器学习是对一个Task，根据Experience，去提升Performance；
在机器学习中，神经网络的地位越来越重要，实践发现，非线性的激活函数有助于神经网络拟合分布，效果明显优于线性分类器：
y=Wx+by=Wx+b y=Wx+b
常用激活函数有ReLU，sigmoid，tanh；
sigmoid将值映射到(0,1)：
y=11+exp(−x)y=\frac{1}{1+exp(-x)} y=1+exp(−x)1
tanh会将输入映射到(-1,1)区间：
y=exp(x)−exp(−x)exp(x)+exp(−x)y=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)} y=exp(x)+exp(−x)exp(x)−exp(−x)

#激活函数tanh
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as npdef tanh(x):return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))X=np.linspace(-5,5,100)plt.figure(figsize=(8,6))
ax=plt.gca()#get current axis:获取当前坐标系#将该坐标系的右边缘和上边缘设为透明
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
#设置bottom是x轴
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))#设置left为y轴
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))ax.plot(X,tanh(X),color='blue',linewidth=1.0,linestyle="-")plt.show()

开源框架

当神经网络层数加深，可以加强捕捉分布的效果，可以简单认为深度学习指深层神经网络的学习；
当前有两大主流的深度学习框架：Pytorch和Tensorflow；
Pytorch支持动态计算图，使用起来更接近Python；
Tensorflow是静态计算图，使用起来就像一门新语言，据说简单易用的keras已经无人维护，合并到tensorflow；
一个深度学习项目的运行流程一般是：
深度学习计算重复且体量巨大，所以需要将模型部署到GPU上，GPU的设计很适合加速深度学习计算，为了便于在GPU上开展深度学习实验，人们开发了CUDA架构，现在大部分DL模型都是基于CUDA加速的
关于CUDA

1.什么是CUDA？
CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
2.什么是CUDNN？
NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中。

方向概览

当前计算机视觉的发展相对于自然语言处理更加成熟，NLP的训练比CV更耗费资源，CV模型相对较小；
在CV方向：

1.图像分类（ResNet，DenseNet）
2.目标检测ObjectDetection
3.风格迁移StyleTransfer
4.CycleGAN：比如图像中马到斑马，也可以从斑马返回马
5.ImageCaptioning：从图像生成描述文本，一般用CNN获得feature，再输入RNN获得文本

在NLP方向：

1.情感分析：分类影评数据
2.QuestionAnswering：一段问题->给出答案
3.Translation：可以用OpenNMT-py，OpenNMT-py是开源的seq->seq模型
4.ChatBot聊天机器人，基于QuestionAnswering，目前刚起步

另外还有强化学习Deep Reinforcement Learning，从简单的打砖块游戏到著名的阿尔法Go；
以及预训练语言模型：给一段话，让机器继续说下去，比如BERT，GPT2；
迁移学习
在CV中，NN的低层可以提取位置信息（边，角等精细信息），高层提取抽象信息，所以低层的网络可以反复使用，更改高层再训练以适用其他任务

第一课.深度学习简介相关推荐

人工智能教程第一课深度学习和计算机视觉TensorFlow入门
深度学习学习目标知道什么是深度学习知道深度学习的应用场景 1.什么是深度学习在介绍深度学习之前,我们先看下人工智能,机器学习和深度学习之间的关系: 机器学习是实现人工智能的一种途径,深度学习是 ...
重学《动手学深度学习》 —— 深度学习简介（第一章）笔记
深度学习简介本章地址:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter01_DL-intro/deep-learning-intro 仅作为私 ...
【CV实战】年轻人的第一个深度学习图像分割项目应该是什么样的（Pytorch框架）？...
我们上次给新手们介绍了第一个合适入门的深度学习CV项目,可阅读[CV实战]年轻人的第一个深度学习CV项目应该是什么样的?(支持13大深度学习开源框架),本次我们再给大家介绍一个新的任务,图像分割,包括 ...
深度学习简介(一)——卷积神经网络
本文的主要目的,是简单介绍时下流行的深度学习算法的基础知识,本人也看过许多其他教程,感觉其中大部分讲的还是太过深奥,于是便有了写一篇科普文的想法.博主也是现学现卖,文中如有不当之处,请各位指出,共同进 ...
【深度学习系列】——深度学习简介
这是深度学习系列的第一篇文章,欢迎关注原创公众号 [计算机视觉联盟],第一时间阅读我的原创!回复 [西瓜书手推笔记] 还可获取我的机器学习纯手推笔记! 直达笔记地址:机器学习手推笔记(GitHub地址 ...
深度学习笔记（1）深度学习简介
深度学习笔记(1) 深度学习简介 1. 引言 2. 神经网络 3. 兴起 1. 引言在机器学习的历史上,一共出现了两种定义: 1956 年,开发了西洋跳棋 AI 程序的 Arthur Samuel ...
CS230(DeepLearning)Leture2的学习笔记(1)之深度学习简介
CS230_Lecture2的学习笔记_1 [Leture2_1](http://cs230.stanford.edu/files/C1M1.pdf) Leture2_1 本节讲义主要是针对深度学习做 ...
人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.1 人工智能概述 1 人工智能应用场景 2 人工智能小案例 ...
第1章【深度学习简介】--动手学深度学习【Tensorflow2.0版本】
项目地址:https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的<动手学深度学习>开源书一经推出便广受好评.很多开 ...

第一课.深度学习简介

机器学习

开源框架

方向概览

第一课.深度学习简介相关推荐

最新文章

热门文章