caffe调参经验资料文章
original url:
http://www.voidcn.com/blog/langb2014/article/p-5748576.html
下面一些推荐的书和文章：调参资料总结
Neural Network: Trick of the Trade Neural Networks: Tricks of the Trade
Practical Recommendations for Gradient-based Training of Deep Architectures http://arxiv.org/abs/1206.5533
《 神经网络训练中的Tricks之高效BP（反向传播算法） 》 翻译文章。神经网络训练中的Tricks之高效BP（反向传播算法），来自与于《Neural Networks: Tricks of the Trade》一书第二版中的第一章 Efficient BackProp 的部分小节。
《Deep Learning for Vision: Tricks of the Trade》Marc’Aurelio Ranzato 在 CVPR 上 的 presentation slides/talk（Youtube 等地方可以搜到）。caffe 作者之一贾扬清推荐。涉及到了许多 DL 的调参技巧（在 slides 比较靠后的地方）
《Optimizing RNN performance》百度 Silicon Valley AI Lab 的分享，现在主要是 GEMM 的性能优化，以后还会有并行 GPU，GRU 和 LSTM 的实现技巧等……
《Must Know Tips/Tricks in Deep Neural Networks》来自 NJU LAMDA 实验室的 Xiu-Shen Wei 的总结，主要集中于 CNN，包括各种数据处理上可能带来的性能和表现的差异。图表丰富，有理有据。
《训练深度神经网络的时候需要注意的一些小技巧》这篇是综合翻译，没给出都从哪节选的。我收集的英文版在下面：
《Training Tricks from Deeplearning4j》deeplearning4j 的 googlegroups 也很推荐。这篇其实干货不多，但是也有一些了。包括对于训练的理解，并不全是干货般的总结。
《Suggestions for DL from Llya Sutskeve》Hinton 亲传弟子介绍深度学习的实际 tricks，包括data, preprocessing, minibatches, gradient normalization, learning rate, weight initialization, data augmentation, dropout和ensemble。
《Efficient Training Strategies for Deep Neural Network Language Models》讨论了如何设置 batch-size, initial learning rate, network initialization，但最有趣的结论应该是：普通的 deep feed-forward architecture比recurrent NN 在 model long distance dependency 效果和效率都更好。
《Neural Networks Best Practice》Uber 的 data scientist 写的。比如: Rectifier is becoming popular as an activation function. However, I find its theory dubious and my experiments have not shown that it is always better. That said, I’m experimenting with new activation functions. (Little trivia: I’m borrowing many ideas from my graduate work in computational wave propagation.)
《How transferable are features in deep neural networks?》也是争议比较大的一篇文章，finetuning 有一定帮助，但是不够细致。
《Dark Knowledge from Hinton》有心人整理的 Hinton 提到的 Dark Knowledge 的一些资源。
《Stochastic Gradient Descent Tricks》L eon Bottou 写的 Stochastic Gradient Descent Tricks 挺好，做工程也要做的漂亮。
《Advice for applying Machine Learning》主要集中在如何观察数据来选择方法。
《How to Debug Learning Algorithm for Regression Model》主要都是讲回归中遇到的各种“预期不符”的结果。配合 ESL 第二章和第三章内容看效果加成。
《Large-scale L-BFGS using MapReduce》NIPS’14 的论文，简单并行化 LBFGS里面的双循环（最耗时，计算量巨大）。
《特征工程选择系列》特征工程系列文章：Part1.单变量选取 Part2.线性模型和正则化 Part3.随机森林 Part4.稳定性选择法、递归特征排除法(RFE)及综合比较。有 Python 代码。
《机器学习代码心得之有监督学习的模块 机器学习代码心得之迭代器和流水处理》新一代大神微博@陈天奇怪 的系列文章，有兴趣的直接顺着看吧。
《STOCHASTIC GRADIENT BOOSTING: CHOOSING THE BEST NUMBER OF ITERATIONS》Kaggle 达人 YANIR SEROUSSI 告诉你如何选择 Stochastic Gradient Boosting 的训练最佳 iteration 超参数。不过我比较存疑，因为如果条件允许，当然迭代的越多越好……
《Large-Scale High-Precision Topic Modeling on Twitter》Twitter 高级研究员的 KDD’14论文。有不少实用技巧，比如短文本特征，LR结果概率化修正，正样本抽样，PU学习后负样本选取。
caffe调参经验资料文章相关推荐
- 深度学习训练的小技巧，调参经验。总结与记录。
深度学习训练的小技巧,调参经验.总结与记录. 2016-10-23 23:07 390人阅读 评论(0) 收藏 举报 版权声明:本文为博主原创文章,未经博主允许不得转载. 经常会被问到你用深度学习训练 ...
- 智能车调参经验（超级详细！！！手把手教）【一】
调参作为智能车比赛中最为耗时和痛苦的事情,在网上浏览了许多人的调参经验的博客却发现大家分享的内容对新手并不太友好,所以作为一枚小白打算记录一下此次参加智能车比赛中调参遇到的问题以及经验所得,不仅希望能 ...
- 强化学习中的调参经验与编程技巧（on policy篇）
©PaperWeekly 原创 · 作者|张恒瑞 单位|北京交通大学 研究方向|强化学习 在强化学习的训练过程中,常常会遇见以下问题: 在某一环境中可以 work 的超参数拿去训练别的环境却训练不出来 ...
- 关于神经网络的调参经验技巧和调参顺序
文章目录 前言 一.写在前面 超参数和参数区分 超参数选取尺度的考虑 二.调参顺序 1.learning rate 2.batch size 3.其他参数 3.1Hidden Units(隐含层单元数 ...
- 【智能车算法】电磁杆差比和差调参经验
差比和差 前言 在参加电磁循迹智能车竞赛的过程中,偶然间看到了卓晴大佬的差比和差算法,该算法能很好的实现对电磁赛道的数据整合,可惜调试时在网上找不到任何的调参资料,故在此处总结一下调参规律 原理 这是 ...
- PID参数解析+调参经验笔记（经验法）
在最前面推荐一个大佬的讲解,真的很浅显易懂,建议先看了解大概PID:链接 ps:2022/1/2更新pid通俗理解: out_speed = p*err+d*now_speed;//pid最核心算法 ...
- 调参经验: 关于deep learning（rnn、cnn）
点击上方"机器学习与生成对抗网络",关注星标 获取有趣.好玩的前沿干货! https://www.zhihu.com/question/330766768 编辑:机器学习算法与知识 ...
- 计算机能力挑战赛是线上的吗,全国高校计算机能力挑战赛验证码识别竞赛一等奖调参经验分享...
前言:这是为验证码识别竞赛而开发的一个基于pytorch实现的端到端的验证码识别系统.前后开发大概有2个月,其中大部分时间都在调参,后期参考kaggle大神经验,加入了一些trick,但是由于第一个榜 ...
- xgboost 调参经验
本文介绍三部分内容: - xgboost 基本方法和默认参数 - 实战经验中调参方法 - 基于实例具体分析 1.xgboost 基本方法和默认参数 在训练过程中主要用到两个方法:xgboost.tra ...
- 神经网络调参经验大汇总
作者:Andrej Karpathy,翻译:杰少 @大野人007 今天看到一篇非常非常棒的调节NN的文章,作者是特斯拉高级总监Andrej Karpathy,就翻译过来和大家一起分享,难免翻译有问题, ...
最新文章
- Redis与Memcached汇总
- spring bean的生命周期和创建流程
- 程序员的职业素养-读书笔记
- 如何使用事务码SMICM分析ABAP代码发起的HTTP请求的错误
- VB Environ系统环境变量函数大全
- windows进程间通信
- linux中source命令详解,在Linux中，Source命令是什么如何使用它？
- 奥拉星插件flash下载手机版下载安装_flash控件手机版
- 提取文本中的金额，提取货币，Python实现与在线使用
- python表达直角坐标系_在直角坐标中，x、 y 是坐标系中任意点的位置，用 x 和 y 表示第一象限或第二象限的 Python 表达式为 。_测量省赛理论答案_学小易找答案...
- 浅析image,imagesc,imshow的用法
- The number of GET/POST parameters exceeded settings.DATA_UPLOAD_MAX_NUMBER_FIELDS. ERROR:django.secu
- 数据结构-单链表基本操作带图完整详解
- 第十五期】Monica：单身滴美女程序员 多图！
- java基于ssm开发的电视剧播放视频系统页面很漂亮哦
- 华擎主板设置来电开机_主板四大品牌BIOS设置开机第一启动项图文教程
- Nvidia显卡命名的各部分的含义
- [USACO 2012 Open]Running Laps奶牛赛跑
- Java破解反编译逆向工程笔记
- 拒绝监视---Win10隐私防护刻不容缓 -- 三款win10系统隐私设置神器让Win10更安全！！！