【深度学习篇】---CNN和RNN结合与对比,实例讲解
推荐下我自己建的人工智能Python学习群:【809160367】,群里都是学Python的,如果你想学或者正在学习Python ,欢迎你加入,大家都是软件开发党,不定期分享干货,还有免费直播课程领取。包括我自己整理的一份2021最新的Python进阶资料和零基础教学,欢迎进阶中和对Python感兴趣的小伙伴加入!还可以扫码加VX领取资料哦!
下面是正文
一、前述
CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的各种组合方式,以及CNN和RNN的对比。
二、CNN与RNN对比
1、CNN卷积神经网络与RNN递归神经网络直观图
2、相同点:
2.1. 传统神经网络的扩展。
2.2. 前向计算产生结果,反向计算模型更新。
2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。
3、不同点
3.1. CNN空间扩展,神经元与特征卷积;RNN时间扩展,神经元与多个时间输出计算
3.2. RNN可以用于描述时间上连续状态的输出,有记忆功能,CNN用于静态输出
3. 3. CNN高级100+深度,RNN深度有限
三、CNN+RNN组合方式
1. CNN 特征提取,用于RNN语句生成图片标注。
2. RNN特征提取用于CNN内容分类视频分类。
3. CNN特征提取用于对话问答图片问答。
四、具体应用
1、图片标注
基本思路
目标是产生标注的语句,是一个语句生成的任务,LSTM?
描述的对象大量图像信息,图像信息表达,CNN?
CNN网络中全连接层特征描述图片,特征与LSTM输入结合。
具体步骤:
1.1 模型设计-特征提取
全连接层特征用来描述原图片
LSTM输入:word+图片特征;输出下一word。
1.2 模型设计-数据准备
1. 图片CNN特征提取
2. 图片标注生成Word2Vect 向量
3. 生成训练数据:图片特征+第n单词向量:第n+1单词向量。
1.3 模型训练:
1. 运用迁移学习,CNN特征,语句特征应用已有模型
2. 最终的输出模型是LSTM,训练过程的参数设定:梯度上限(gradient clipping), 学习率调整(adaptivelearning)
3. 训练时间很长。
1.4 模型运行:
1. CNN特征提取
2. CNN 特征+语句开头,单词逐个预测
2、视频行为识别 :
视频中在发 生什么?
2.1常用方法总结:
RNN用于CNN特征融合
1. CNN 特征提取
2. LSTM判断
3. 多次识别结果分析。
不同的特征不同输出。
或者:所有特征作为一个输出。
2.2 RNN用于CNN特征筛选+融合:
1. 并不是所有的视频 图像包含确定分类信息
2. RNN用于确定哪些frame 是有用的
3. 对有用的图像特征 融合。
2.3 RNN用于,目标检测:
1. CNN直接产生目标候选区
2. LSTM对产生候选区融合(相邻时刻位置近 似)
3. 确定最终的精确位置。
2.4 多种模型综合:
竞赛/应用中,为了产生最好结果,多采用 多模型ensemble形式。
3、图片/视频问答
3.1 问题种类
3.2 图片问答意义
1. 是对纯文本语言问答系统的扩展
2. 图片理解和语言处理的深度融合
3. 提高人工智能应用范围-观察,思考,表达
推荐下我自己建的人工智能Python学习群:【809160367】,群里都是学Python的,如果你想学或者正在学习Python ,欢迎你加入,大家都是软件开发党,不定期分享干货,还有免费直播课程领取。包括我自己整理的一份2021最新的Python进阶资料和零基础教学,欢迎进阶中和对Python感兴趣的小伙伴加入!还可以扫码加VX领取资料哦!
【深度学习篇】---CNN和RNN结合与对比,实例讲解相关推荐
- 【深度学习】CNN与RNN有什么不同?
1982年由David Hasselhoff主演的热播美剧<霹雳游侠>可谓有先见之明,剧中有一辆充满未来感的"庞蒂亚克火鸟"汽车.这辆会说话的自动驾驶汽车也以好莱坞的方 ...
- Tensorflow【实战Google深度学习框架】—Logistic regression逻辑回归模型实例讲解
文章目录 1.前言 2.程序详细讲解 环境设定 数据读取 准备好placeholder,开好容器来装数据 准备好参数/权重 拿到每个类别的score 计算多分类softmax的loss functio ...
- Python深度学习篇六《深度学习用于文本和序列》
前言 前期回顾: Python深度学习篇五<深度学习用于计算机视觉> 上面这篇里面写了计算机视觉相关. 卷积神经网络是解决视觉分类问题的最佳工具. 卷积神经网络通过学习模块化模式和概念的层 ...
- 脑电EEG代码开源分享 【6. 分类模型-深度学习篇】
往期文章 希望了解更多的道友点这里 0. 分享[脑机接口 + 人工智能]的学习之路 1.1 . 脑电EEG代码开源分享 [1.前置准备-静息态篇] 1.2 . 脑电EEG代码开源分享 [1.前置准备- ...
- [Python人工智能] 三十.Keras深度学习构建CNN识别阿拉伯手写文字图像
从本专栏开始,作者正式研究Python深度学习.神经网络及人工智能相关知识.前一篇文章分享了生成对抗网络GAN的基础知识,包括什么是GAN.常用算法(CGAN.DCGAN.infoGAN.WGAN). ...
- [Python图像识别] 四十七.Keras深度学习构建CNN识别阿拉伯手写文字图像
该系列文章是讲解Python OpenCV图像处理知识,前期主要讲解图像入门.OpenCV基础用法,中期讲解图像处理的各种算法,包括图像锐化算子.图像增强技术.图像分割等,后期结合深度学习研究图像识别 ...
- 阿里云天池大赛赛题解析――深度学习篇
作者:天池平台 出版社:电子工业出版社 品牌:电子工业出版社 出版时间:2021-09-01 阿里云天池大赛赛题解析――深度学习篇
- 【深度学习】CNN神经网络应用(用于亚洲大黄蜂分类)
[深度学习]CNN神经网络应用(用于亚洲大黄蜂分类) 文章目录 1 概述 2 假设条件 3 网络结构 4 数据集和参数 5 Asian hornet classification experiment ...
- [caffe]深度学习之CNN检测object detection方法摘要介绍
[caffe]深度学习之CNN检测object detection方法摘要介绍 2015-08-17 17:44 3276人阅读 评论(1) 收藏 举报 一两年cnn在检测这块的发展突飞猛进,下面详 ...
- 阿里云天池大赛赛题解析——深度学习篇
阿里云天池大赛赛题解析--深度学习篇 (豆瓣)图书阿里云天池大赛赛题解析--深度学习篇 介绍.书评.论坛及推荐 https://book.douban.com/subject/35596114/
最新文章
- Android中的ABI
- 洛谷1042 乒乓球 解题报告
- navicat 导入SQL文件出错
- OJ1035: 分段函数求值
- 2.6 特殊的矩阵和向量
- [并非笑话]当Borland的工程师向微软寻求技术支持时
- 如何在线生成自己的短网址,可自定义域名 可统计点击数
- 关于C和C++中的基本数据类型int、long、long long、float、double、char、string的大小及表示范围
- 操作系统(1) 操作系统概念
- 80端口有什么用,80端口被禁用怎么解决
- 新瓶装老酒--近期APT32(海莲花)组织攻击活动样本分析
- iMeta | 南京医科大学孔祥清团队创建前瞻性多组学纵向原发高血压队列eHypertension...
- 【Fuzzy】不确定规划:模糊变量
- 1220 -- 青蛙过河
- #进击的贪吃蛇-----将贪吃蛇,飞机大战,坦克大战功能融合形成新的游戏
- 高性能平台设计——美团旅行结算平台实践
- Linux:CentOS7安装
- windows10 右下角网络连接栏显示一个电脑加上一个红叉,已解决
- 怎么解密MD5,常见的MD5解密方法,一看就会
- 歌曲:精忠报国 歌手:屠洪刚
热门文章
- 景安网络:根植中原厚土发力云计算巅峰
- 移动社交应用里,微创新、新奇趣可能都只是创新陷阱(虎嗅网)
- 什么是原生IP和广播IP,网站建设是共享IP还是独立IP好?
- matlab中kmeans聚类算法
- 5种写作技巧,即使是业余爱好者也能像专业人士一样写作
- C++ STL函数 结构体数组sort()排序(henu.hjy)
- Qt For Android 第一步 环境配置
- Brooks法则:“向进度落后的项目中增加人手只会使进度更加落后”
- 【tio-websocket】1、T-IO简介
- 前端页面乱码,设置了utf-8,检查了浏览器编码还是出现乱码