1.7 视频的深度分段网络

下面介绍另外一个工作，是我们和 CUHK、ETH 联合开展的，这个工作考 虑视频的分段特性，我们知道视频可以分 成很多段，每一段有不同的内容。我们 开发了一个深度模型，对不同的段分别 提取深度特征，然后利用一个 Segment Consensus 模块对这些特征进行融合。在 融合的时候，我们发现并不是所有这些 段对识别的贡献都是一样的，有些区域 贡献比较大，有些区域不重要。因此在 融合的时候，我们设计了一个加权机制， 根据各段重要性进行加强，这个加权系 数是学习得到的，可以与识别网络联合 做 End-to-End 的联合优化。

基于这个方法，我们参见了 ActivityNet 2016 竞赛。ActivityNet 包含 200 多个类别， 600 多个小时的视频，内容比较复杂，数据 量比较大。另外，这个数据库是 untrimmed 的，就是说视频里面可能包含和类别不相 关的时间段。我们的方法取得了 93% 的识 别率，在所有方法中排名第一。

我们看到伴随着深度模型在视频分析 识别中的广泛应用，在行为分类任务上 取得了重要进展，在多个公开数据库的 识别率都有大幅的提升。但是另一方面， 由于视频的复杂性，很多问题离最终解 决还有很大距离。这就要求我们开展研 究工作，在方法上有进一步的进展。

（本文根据乔宇研究员在中国人工智能学会首 期“人工智能前沿讲习班”的现场报告整理）

中国科学院深圳先进技术研究院研究员，集成所副所长。担任广东省“机器视觉与虚拟现实”重点实验室常 务副主任 , 深圳市“机器视觉与模式识别”重点实验室副主任。2011 年获得中国科学院“百人计划”择优支持， 广东省科技创新领军人才，深圳鹏程学者长期特聘教授。从事计算机视觉、深度学习和模式识别的研究。已 在包括 PAMI、T-IP、T-SP、IJCV、CVPR、ICCV、ECCV、AAAI 等会议和期刊上发表学术论文 150 余篇 , 带领 团队多次在 ChaLearn、LSun、THUMOUS、ACTIVITYNet 等国际评测中取得第一，获 ImageNet 2016 场景分类 任务第二名。

中国人工智能学会通讯——基于视频的行为识别技术 1.7 视频的深度分段网络...相关推荐

  1. 中国人工智能学会通讯——基于视频的行为识别技术 1.1 什么是行为

    今天跟大家分享的主题是基于视频的 行为识别领域研究,主要介绍一下早期 的非深度学习传统方法和近期深度学习 方法取得的结果.深度学习方法带来了 非常大的变革,提升了识别系统的性能, 但这并不意味着我们把 ...

  2. 中国人工智能学会通讯——基于视频的行为识别技术 1.5 基于深度学习的视频识别方法...

    1.5 基于深度学习的视频识别方法 下面介绍面向视频分类的深度学习方 法.深度卷积神经网络在图像分类取得 成功后,研究人员就希望把它推广到视 频分类中.但这不是一件很容易的事, 一个原因是缺乏足够的训 ...

  3. 中国人工智能学会通讯——基于图像认知的心理测评方法及系统

    摘要:长久以来心理障碍的诊断和评估通常都是建立在晤谈.观察.量表测验的基础上,交互繁琐困难,主观性比较大,使得人的心理特征难以快速获取和量化.本研究创新性地将心理学和信息科学结合在一起,建立了情绪图像 ...

  4. 中国人工智能学会通讯——电子商务中的个性化推荐技术剖析 1. 基于人生阶段建模的商品推荐...

    1. 基于人生阶段建模的商品推荐 经典的基于协同过滤的推荐,通常结合用户近期行为,给用户推送已知范围内的商品.随着用户对推荐系统和产品期望的提高,也需要向其呈现部分他们需要,但自己尚不清楚的领域的产品 ...

  5. 中国人工智能学会通讯——无智能，不驾驶——面向未来的智能驾驶时代 ( 下 )...

    到目前为止似乎比较完美,而实际还 存在着一些问题.我们现在看到很多道 路上面,交通标志牌它的分布非常稀疏, 可能每过一两公里才能够检测出来一个 交通标志牌,因为毕竟这个深度学习算 法是目前最完美的,它 ...

  6. 中国人工智能学会通讯——智能系统测评：挑战和机遇

    上面的四个报告从四个维度讨论了智能系统测评的不同方面--产业.基础.基础和伦理.我受中国人工智能学会的委托,组织这次分论坛,为此对这个领域做了一些调研和思考,从现状和挑战这两个方面做了一些初步总结. ...

  7. 中国人工智能学会通讯——深蓝、沃森与AlphaGo

    在 2016 年 3 月 份,正当李 世石与AlphaGo 进行人机大战的时候,我曾经写过 一 篇< 人 工 智 能 的 里 程 碑: 从 深 蓝 到AlphaGo>,自从 1997 年深 ...

  8. 中国人工智能学会通讯——AI Platform for Business: Research Roadmap

    很高兴来到这样一个场合,刚得知秘书长让我参加这个创新创业论坛时,我觉得和自己的身份有一点距离.我来自于企业研究院,不过从技术角度来讲其实有共通的地方,我所在的IBM中国研究院不断地制造新技术和新的产业 ...

  9. 中国人工智能学会通讯——后深度学习时代的人工智能

    1956 年,在美国达特茅斯学院举行的一次会议上,"人工智能"的研究领域正 式确立.60 年后的今天,人工智能的发展正进入前所未有的大好时期.我今天作的报告,将通过分析时代的特点, ...

最新文章

  1. python 模拟键盘_python+selenium模拟键盘输入
  2. 【企业管理】人力资源-华为实践
  3. JS读取嵌套的JSON数据
  4. 13.multi-term-vector请求
  5. 程序员常用编程工具： VS Code，那些你不得不知道的小知识！
  6. 1002.写出这个数
  7. EasyUI中的data-options属性的用法
  8. 杭电2103---Family planning
  9. Linux SD卡驱动开发(一) —— SD 相关基础概念
  10. 贪心 汽车加油 java_汽车加油问题之贪心算法
  11. python列表append方法_Python列表append（）方法
  12. 【渝粤教育】国家开放大学2018年秋季 0284-21T外国文学 参考试题
  13. 一瞬间、一刹那、一弹指具体是多少时间呢？
  14. MFC画图的基本知识 转载链接http://lc7cl.iteye.com/blog/1336221
  15. 小熊派折叠开发板（一）- 开发板介绍
  16. emui系统就是鸿蒙吗,华为EMUI是不是鸿蒙系统
  17. h323 linux源码分析
  18. 佳能ip110 linux驱动下载,佳能iP110驱动程序官方版
  19. macbook air2018 安装win10
  20. wolai 创始人发公开信提醒：你的在线文档安全吗？

热门文章

  1. mysql中的order by
  2. python matplotlib画图产生的Type 3 fonts字体没有嵌入问题
  3. VS2005的depends工具 （分析EXE）
  4. 让select查询结果随机排序
  5. PyCharm-professional-2018.2.2 - 破解
  6. 好用的数学公式（持续更新中）
  7. 拼团功能，开团并发问题，使用数据库行锁方案
  8. 包转发、吞吐量、背板带宽计算
  9. Mysql系列三：Centos6下安装Mysql和Mysql主从复制的搭建
  10. Vue 单文件元件 — vTabs