2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势(上)...
1、简介:
过去几年一直是人工智能爱好者和机器学习专业人士最幸福的时光。因为这些技术已经发展成为主流,并且正在影响着数百万人的生活。各国现在都有专门的人工智能规划和预算,以确保在这场比赛中保持优势。
数据科学从业人员也是如此,这个领域正在发生很多事情,你必须要跑的足够的快才能跟上时代步伐。回顾历史,展望未来一直是我们寻找方向的最佳方法。
这也是我为什么想从数据科学从业者的角度退一步看一下人工智能的一些关键领域的发展,它们突破了什么?2018年发生了什么?2019年会发生什么?
我将在本文中介绍自然语言处理(NLP)、计算机视觉、工具库、强化学习、走向合乎正道的人工智能
2、自然语言处理(NLP)
让机器分析单词和句子似乎是一个梦想,就算我们人类有时候也很难掌握语言的细微差别,但2018年确实是NLP的分水岭。
我们看到了一个又一个显著的突破:ULMFiT、ELMO、OpenAI的Transformer和Google的BERT等等。迁移学习(能够将预训练模型应用于数据的艺术)成功应用于NLP任务,为无限可能的应用打开了大门。让我们更详细地看一下这些关键技术的发展。
ULMFiT
ULMFiT由Sebastian Ruder和fast.ai的Jeremy Howard设计,它是第一个在今年启动的NLP迁移学习框架。对于没有经验的人来说,它代表通用语言的微调模型。Jeremy和Sebastian让ULMFiT真正配得上Universal这个词,该框架几乎可以应用于任何NLP任务!
想知道对于ULMFiT的最佳部分以及即将看到的后续框架吗?事实上你不需要从头开始训练模型!研究人员在这方面做了很多努力,以至于你可以学习并将其应用到自己的项目中。ULMFiT可以应用六个文本分类任务中,而且结果要比现在最先进的方法要好。
你可以阅读Prateek Joshi关于如何开始使用ULMFiT以解决任何文本分类问题的优秀教程。
ELMO
猜一下ELMo代表着什么吗?它是语言模型嵌入的简称,是不是很有创意? ELMo一发布就引起了ML社区的关注。
ELMo使用语言模型来获取每个单词的嵌入,同时还考虑其中单词是否适合句子或段落的上下文。上下文是NLP的一个重要领域,大多数人以前对上下文都没有很好的处理方法。ELMo使用双向LSTM来创建嵌入,如果你听不懂-请参考这篇文章,它可以让你很要的了解LSTM是什么以及它们是如何工作的。
与ULMFiT一样,ELMo显着提高了各种NLP任务的性能,如情绪分析和问答,在这里了解更多相关信息。
BERT
不少专家声称BERT的发布标志着NLP的新时代。继ULMFiT和ELMo之后,BERT凭借其性能真正击败了竞争对手。正如原论文所述,“BERT在概念上更简单且更强大”。BERT在11个NLP任务中获得了最先进的结果,在SQuAD基准测试中查看他们的结果:
有兴趣入门吗?你可以使用PyTorch实现或Google的TensorFlow代码尝试在自己的计算机上得出结果。
我很确定你想知道BERT代表什么,它实际上是Transformers的双向编码器表示,如果你能够领悟到这些,那很不错了。
PyText
Facebook开源了深度学习NLP框架PyText,它在不久之前发布,但我仍然要测试它,但就早期的评论来说非常有希望。根据FB发表的研究,PyText使会话模型的准确性提高了10%,并且缩短了训练时间。
PyText实际上落后于Facebook其他一些产品,如FB Messenger。如果你对此有兴趣。你可以通过GitHub下载代码来自行尝试。
2019年NLP趋势:
塞巴斯蒂安·罗德讲述了NLP在2019年的发展方向,以下是他的想法:
- 预训练的语言模型嵌入将无处不在,不使用它们的模型将是罕见的。
- 我们将看到可以编码专门信息的预训练模型,这些信息是对语言模型嵌入的补充。
- 我们将看到有关多语言应用程序和跨语言模型的成果。特别是,在跨语言嵌入的基础上,我们将看到深度预训练的跨语言表示的出现。
3、计算机视觉
这是现在深度学习中最受欢迎的领域,我觉得我们已经完全获取了计算机视觉中容易实现的目标。无论是图像还是视频,我们都看到了大量的框架和库,这使得计算机视觉任务变得轻而易举。
我们今年在Analytics Vidhya花了很多时间研究这些概念的普通化。你可以在这里查看我们的计算机视觉特定文章,涵盖从视频和图像中的对象检测到预训练模型列表的相关文章,以开始你的深度学习之旅。
以下是我今年在CV中看到的最佳开发项目:
如果你对这个美妙的领域感到好奇,那么请继续使用我们的“使用深度学习的计算机视觉”课程开始你的旅程。
BigGAN的发布
在2014年,Ian Goodfellow设计了GAN,这个概念产生了多种多样的应用程序。年复一年,我们看到原始概念为了适应实际用例正在慢慢调整,直到今年,仍然存在一个共识:机器生成的图像相当容易被发现。
但最近几个月,这个现象已经开始改变。或许随着BigGAN的创建,该现象或许可以彻底消失,以下是用此方法生成的图像:
除非你拿显微镜看,否则你将看不出来上面的图片有任何问题。毫无疑问GAN正在改变我们对数字图像(和视频)的感知方式。
Fast.ai的模型18分钟内在ImageNet上被训练
这是一个非常酷的方向:大家普遍认为需要大量数据以及大量计算资源来执行适当的深度学习任务,包括在ImageNet数据集上从头开始训练模型。我理解这种看法,大多数人都认为在之前也是如此,但我想我们之前都可能理解错了。
Fast.ai的模型在18分钟内达到了93%的准确率,他们使用的硬件48个NVIDIA V100 GPU,他们使用fastai和PyTorch库构建了算法。
所有的这些放在一起的总成本仅为40美元! 杰里米在这里更详细地描述了他们的方法,包括技术。这是属于每个人的胜利!
NVIDIA的vid2vid技术
在过去的4-5年里,图像处理已经实现了跨越式发展,但视频呢?事实证明,将方法从静态框架转换为动态框架比大多数人想象的要困难一些。你能拍摄视频序列并预测下一帧会发生什么吗?答案是不能!
NVIDIA决定在今年之前开源他们的方法,他们的vid2vid方法的目标是从给定的输入视频学习映射函数,以产生输出视频,该视频以令人难以置信的精度预测输入视频的内容。
你可以在这里的GitHub上试用他们的PyTorch实现。
2019年计算机视觉的趋势:
就像我之前提到的那样,在2019年可能看到是改进而不是发明。例如自动驾驶汽车、面部识别算法、虚拟现实算法优化等。就个人而言,我希望看到很多研究在实际场景中实施,像CVPR和ICML这样的会议描绘的这个领域的最新成果,但这些项目在现实中的使用有多接近?
视觉问答和视觉对话系统最终可能很快就会如他们期盼的那样首次亮相。虽然这些系统缺乏概括的能力,但希望我们很快就会看到一种综合的多模式方法。
自监督学习是今年最重要的创新,我可以打赌明年它将会用于更多的研究。这是一个非常酷的学习线:标签可以直接根据我们输入的数据确定,而不是浪费时间手动标记图像。
本文由阿里云云栖社区组织翻译。
文章原标题《A Technical Overview of AI & ML (NLP, Computer Vision, Reinforcement Learning) in 2018 & Trends for 2019》
译者:乌拉乌拉,审校:袁虎。
文章为简译,更为详细的内容,请查看原文
2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势(上)...相关推荐
- 智能城市dqn算法交通信号灯调度_博客 | 滴滴 KDD 2018 论文详解:基于强化学习技术的智能派单模型...
原标题:博客 | 滴滴 KDD 2018 论文详解:基于强化学习技术的智能派单模型 国际数据挖掘领域的顶级会议 KDD 2018 在伦敦举行,今年 KDD 吸引了全球范围内共 1480 篇论文投递,共 ...
- 打游戏时领悟了“向死而生”,这个AI算法真的不虚强化学习
问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 来自德国弗莱堡大学的研究团队,最近有了一个好玩的发现. AI又在打游戏时掌握了新技能. "向死而生" 这个游戏是雅达利平 ...
- 游戏中应用强化学习技术,目的就是要打败人类玩家?
来源:AI前线 作者:凌敏 采访嘉宾:黄鸿波 2016 年,DeepMind 公司开发的 AlphaGo 4:1 大胜韩国著名棋手李世石,成为第一个战胜围棋世界冠军的人工智能机器人,一时风头无两.Al ...
- 基于智能家居控制器的智能家居智能化控制:基于强化学习技术
文章目录 <基于智能家居控制器的智能家居智能化控制:基于强化学习技术> <基于智能家居控制器的智能家居智能化控制:基于强化学习技术> 引言 1.1. 背景介绍 随着科技的发展, ...
- 2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势
来源:网络大数据 1.简介 过去几年一直是人工智能爱好者和机器学习专业人士最幸福的时光.因为这些技术已经发展成为主流,并且正在影响着数百万人的生活.各国现在都有专门的人工智能规划和预算,以确保在这场比 ...
- 2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势(下)
4.工具和库 工具和库是数据科学家的基础.我参与了大量关于哪种工具最好的辩论,哪个框架会取代另一个,哪个库是经济计算的缩影等等. 但有一点共识--我们需要掌握该领域的最新工具,否则就有被淘汰的风险. ...
- 2018年AI和ML(NLP、计算机视觉、强化学习)技术总结和2019年趋势(上)
1.简介: 过去几年一直是人工智能爱好者和机器学习专业人士最幸福的时光.因为这些技术已经发展成为主流,并且正在影响着数百万人的生活.各国现在都有专门的人工智能规划和预算,以确保在这场比赛中保持优势. ...
- 2018年AI和ML(NLP,计算机视觉,强化学习)技术概述和2019年趋势
前面两篇主要介绍了基于深度学习的自然语言处理,这是去年以前的成果,下面这一篇是总结今年NLP的最新成果,大家可以看看,找到对应论文好好研究,当然这还是外国人写的,没办法,国内很少有人能总结的那么透彻, ...
- 对 2018 年 AI 发展预言全中,他们又立了 2019 的 Flag
By 超神经 「对于 2019 年数据科学.机器学习和人工智能,我们做出了 5 个预测.同时还回顾一下去年做的预测,看看有哪些是真的发生了. 」 作者:William Vorhies DataScie ...
最新文章
- 几步教你轻松搭建一个Java Web项目
- css中overflow:hidden的属性 可能会导致js下拉菜单无法显示
- git :设置 object-c 的忽略文件
- 逻辑回归实例--乳腺癌肿瘤预测
- Redis-学习笔记01【Redis环境搭建】
- CVE-2019-0708(BlueKeep)漏洞分析与复现
- 内存分析工具 MAT 的使用
- 由char* 引发的Segmentation fault错误
- Spring基础18——通过注解配置bean之间的关联关系
- android andbase,andbase
- 使用Infopath时要注意的有哪些
- 精心梳理二十二道常见SSM面试题(带答案)
- FL studio 20简易入门教程 -- 第三篇 -- 菜单栏讲解(下)
- dede所有目录模板全解
- oracle 的insert into的详解
- netty玩转irving聊天室(android整合netty客户端+springboot整合netty服务端),附源码
- python3 陌生的角落(1):基础语法
- WeMos TTGO WiFi + 蓝牙电池 ESP32 0.96 英寸 OLED点亮屏幕
- DP动态规划-爬塔(双层dp)
- tampermonkey脚本php,Tampermonkey挂机脚本常用代码片段