算法转载收藏【2018年及之前】

研究课题
Optimization
Reinforcement Learning
Predictive Learning， Curious Learning， Self Learning
Unsupervised Learning
GAN
MCTS && AlphaGo
进化算法，EA
Attention Model （待写Blog）
Hardware AI
Learning Rate & 超参优化
鞍点，Local Minima，Generalization
认知、类脑计算
计算机视觉算法集合
模型压缩
AutoML
Training DL
Fast Convergence of Neural Network Training
NLP
ASR
会议idea
分布式系统，非AI

研究课题

2018-12-24：2018年ML/AI重大进展有哪些？LeCun推荐了这篇回答
☆超级好的一个分类List
深度丨AI界的七大未解之谜：OpenAI丢出一组AI研究课题
Olympiad Inequalities

Optimization

数值优化（Numerical Optimization）学习系列-目录：蛮不错的数值优化书的读书笔记，推荐看。
Numerical Optimization和Convex optimization 两本书的选择?

Reinforcement Learning

RL List

Predictive Learning， Curious Learning， Self Learning

2017.03.25：为什么大家都不戳破深度学习的本质？！
智能并没有人们想象的那么玄乎，它不过是一种「预测未来的能力」罢了。
这些预测的实质，不过是「生物的应激性」在「生物自平衡机制」&「环境压力」下产生的副产品。
智能的核心是某种「稳定不变的东西」。而这得益于大脑皮层同质的层级结构。
2018-09-02: 学界 | 不设目标也能通关「马里奥」的AI算法，全靠好奇心学习
Large-Scale Study of Curiosity-Driven Learning:
强化学习算法依赖外在于智能体的工程环境奖励。但是，用手工设计的密集奖励来对每个环境进行标注的方式是不可扩展的，这就需要开发智能体的内在奖励函数。好奇心是一种利用预测误差作为奖励信号的内在奖励函数。在本文中：（a）对包括 Atari 游戏在内的 54 个标准基准环境进行了第一次大规模的纯好奇心驱动学习研究，即没有任何外在奖励。结果取得了惊艳的性能，并在许多游戏环境中，内在好奇心目标函数和手工设计的外在奖励高度一致。（b）研究了使用不同的特征空间计算预测误差的效果，表明随机特征对于许多流行的 RL 游戏基准来说已经足够了，但是学习特征似乎泛化能力更强 (例如迁移到《超级马里奥兄弟》中的新关卡)。（c）展示了随机设置中基于预测的奖励的局限性。

Unsupervised Learning

Unsuperiised Learning List

GAN

GAN Zoo，很清晰的表格√， GAN-Timeline， GAN List
BigGAN
ICLR2019 学界 | 史上最强GAN图像生成器，Inception分数提高两倍

MCTS && AlphaGo

Chernoff-Hoeffding Bound
A Survey of Monte Carlo Tree Search Methods, Cameron Browne et al., 2012
UCT: Bandit based Monte-Carlo Planning, Levente Kocsis et al., 2006
UCB1: Finite-time Analysis of the Multiarmed Bandit Problem, PETER AUER et al., 2002
Introduction to Monte Carlo Tree Search；
蒙特卡洛树搜索(Monte Calro Tree Search, MCTS)究竟是啥
知乎：蒙特卡洛树是什么算法？
高级强化学习系列第二讲探索-利用困境（exploration-exploitation dilemma）（三）（二）（一）
浅述：从 Minimax 到 AlphaZero，完全信息博弈之路（1）
UCT算法百度百科
深入浅出看懂AlphaGo元：：，：：深入浅出看懂AlphaGo如何下棋

进化算法，EA

Attention Model （待写Blog）

ToRead：GNMT，Attention Is All You Need（Transformer）

Attention based model 是什么，它解决了什么问题？

在deep mind 的NIPS paper “Recurrent Models of Visual Attention ”中提出了一个非常有意思的模型。相比较于直接处理整张图片，我们其实只需要在每一个 time step 获取一个小patch就足够完成某个task(比如 digit recognition)。Agent 每次只需要选取一个小patch,并且将此patch的图片信息与location信息encode在一起，生成一个小模块称之为glimpse。这个glimpse又是RNN的当前输入，根据输出的hidden state 可以来做object recognition，并且同时用来预测下一个patch的位置。
Attention Model的CV论文整理 by cosmosshadow

Hardware AI

从ISCA论文看AI硬件加速的新技巧

Learning Rate & 超参优化

[1706.00764] Hyperparameter Optimization: A Spectral Approach
2013 - Hinton：On the importance of initialization and momentum in deep learning
2017 - YellowFin and the Art of Momentum Tuning

鞍点，Local Minima，Generalization

Michael I. Jordan： Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent

认知、类脑计算

2016.5.1：《科学》封面论文作者力作：搭建像人一样思考和学习的机器（附论文下载）
2016-09-25：桥接认知科学和强化学习第1部分：生成论
行动是为了感知
Alva Noë在他书中写的很深入，不仅仅是论述感知是为了行动。他提出了更激进的主张，那就是行动是为了感知。他所说的是，如果没有行动，就没有真正意义上对世界的体验。这本书阐述了行动怎样让感知成为可能。Noë指出，我们用眼睛所看到的图像，仅仅提供给我们了真实世界很小一部分的信息，这些信息并不符合我们体验世界的方式。碗在我们的视网膜上留下了椭圆形的印象。那这个椭圆的形状是怎么被认为是一个碗呢？为了回答这个问题，Noë引用了感觉运动的技巧，它可以让我们理解真实世界相对于我们本身和环境的改变方式。这是因为我们可以绕着碗移动，也可以转动碗，所以我们能了解它是椭圆形的。通过建立感觉运动的技巧，我们可以给原本毫无意义的世界赋予相应的意义。

计算机视觉算法集合

Re-ID LisT
Object Detection List
从R-CNN到RFBNet，目标检测架构5年演进全盘点： https://arxiv.org/abs/1809.02165
目标检测算法中检测框合并策略技术综述：NMS算法最新进展，包括soft-NMS，softer-NMS，IoU-guided NMS，Relation Network，ConvNMS，NMS Network
OCR技术简介
开放场景文本检测
- 旷视科技提出SPCNet：一种任意形状的场景文本检测算法
- 旷视科技提出TextSnake：一个检测任意形状文本的灵活表征

模型压缩

Acceleration and Model Compression List：https://handong1587.github.io/deep_learning/2015/10/09/acceleration-model-compression.html

AutoML

调参工要凉？微软重磅开源AutoML工具包NNI
NeurIPS 2018 AutoML中国队伍表现强势！
AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)
开源AutoKeras：：Paper-Efficient Neural Architecture Search with Network Morphism，有NAS和HPO
Papers:
- ICLR19 - DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
- ICLR19 - You Only Search Once: Single Shot Neural Architecture Search via Direct Sparse Optimization:中科院&图森提出通过稀疏优化进行一次神经架构搜索

Training DL

☆Training Deep Neural Networks
2018-2-27：DeepMind最新深度学习研究：超参选择利器-引入基于群体的训练

Fast Convergence of Neural Network Training

比赛：DAWNBench：An End-to-End Deep Learning Benchmark and Competition

How Do You Find A Good Learning Rate
The 1cycle policy，-----Cyclical LR and momentum 实验
Training Imagenet in 3 hours for $25; and CIFAR10 for $0.26
AdamW and Super-convergence is now the fastest way to train neural nets，----Experiments with Adam/AdamW/amsgrad
Now anyone can train Imagenet in 18 minutes

NLP

2018-6-27：这份NLP研究进展汇总请收好，GitHub连续3天最火的都是它
2018-7-5： Github 上 Star 过千的 PyTorch NLP 相关项目
fairseq：https://github.com/pytorch/fairseq

ASR

2018-11-21：语音识别中的End-to-End模型教程

会议idea

ICLR 2019 有什么值得关注的亮点？
IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUSTNESS.

分布式系统，非AI

2018-12-4：一文读懂Corda分布式记账技术

算法转载收藏【2018年及之前】相关推荐

php如何把线条变粗,科学网—AutoCAD线条加粗秘诀（转载收藏） - 顿玉环的博文...
AutoCAD线条加粗秘诀(转载收藏) 已有 4129 次阅读 2009-8-28 18:19 |个人分类:未分类|系统分类:科研笔记对图形中的某些线条进行加粗是经常需要进行的工作,AutoCAD ...
【转载收藏】介绍一种百度盘高速下载方式 - Pandownload网页版
[转载收藏]介绍一种百度盘高速下载方式 - Pandownload网页版百度盘高速下载软件Pandownload推出了网页版,我测试了下还挺好用的,下载速度不错,网页版在pc和手机上都可以用,对于偶 ...
【转载收藏】OldVersion下载旧版本软件网站
[转载收藏]OldVersion下载旧版本软件网站 OldVersion http://www.oldversion.com/ OldVersion是一个提供着Windows.Mac.Linux.游戏 ...
排序算法汇总(转载收藏)
一排序的基本概念所谓排序,就是要整理文件中的记录,使之按关键字递增(或递减)次序排列起来. 其确切定义如下: 输入: n个记录R1,R2,-,Rn,其相应的关键字分别为K1,K2,-,Kn. 输出 ...
收藏 | 2018年AI三大顶会中国学术成果全链接（附视频、PPT、论文）
来源:读芯术本文多资源,建议收藏. 本文为你汇总展示了NLP和信息检索领域的三大国际旗舰会议最新论文成果. 作为自然语言处理和信息检索领域的三大国际旗舰会议,ACL(墨尔本,15-20).IJCAI ...
python50种算法_收藏 | 一文洞悉Python必备50种算法（附解析）
本文是一些机器人算法(特别是自动导航算法)的Python代码合集. 其主要特点有以下三点:选择了在实践中广泛应用的算法:依赖最少:容易阅读,容易理解每个算法的基本思想.希望阅读本文后能对你有所帮助. ...
浅析几种常见算法(转载)
参考博客:https://blog.csdn.net/Bloodyrabbits/article/details/78445036 一.递归与分支策略 1.分治法的设计思想是,将一个难以直接解决的大问 ...
十大经典算法 - 转载
十大经典排序算法最强总结(含JAVA代码实现) 最近几天在研究排序算法,看了很多博客,发现网上有的文章中对排序算法解释的并不是很透彻,而且有很多代码都是错误的,例如有的文章中在"桶排序&qu ...
(转载)WebStorm 2018.3.2 激活方式（永久）亲测好用！！！！！！
转载链接:https://blog.csdn.net/qq_31279347/article/details/85225234 前言: 总觉的注册码很费事,过一会儿就失效了,博主觉得还是打补丁的方式一 ...

算法转载收藏【2018年及之前】

目录

研究课题

Optimization

Reinforcement Learning

Predictive Learning， Curious Learning， Self Learning

Unsupervised Learning

GAN

MCTS && AlphaGo

进化算法，EA

Attention Model （待写Blog）

Hardware AI

Learning Rate & 超参优化

鞍点，Local Minima，Generalization

认知、类脑计算

计算机视觉算法集合

模型压缩

AutoML

Training DL

Fast Convergence of Neural Network Training

NLP

ASR

会议idea

分布式系统，非AI

算法转载收藏【2018年及之前】相关推荐

最新文章

热门文章