【Deep Learning学习笔记】Deep learning for nlp without magic_Bengio_ppt_acl2012
看完180多页的ppt,真心不容易。记得流水账如下:
J = max (0, 1-S+Sc)
• Deep Learning tutorials: http://deeplearning.net/tutorials
• Stanford deep learning tutorials with simple programming assignments and reading list
http://deeplearning.stanford.edu/wiki/
• Recursive Autoencoder class project
http://cseweb.ucsd.edu/~elkan/250B/learningmeaning.pdf
• Graduate Summer School: Deep Learning, Feature Learning
http://www.ipam.ucla.edu/programs/gss2012/
• ICML 2012 Representation Learning tutorial http://www.iro.umontreal.ca/~bengioy/talks/deep-learning-tutorial-2012.html
• Paper references in separate pdf
• Can do automatic, symbolic differen>a>on
• Senna: POS, Chunking, NER, SRL
• by Collobert et al. http://ronan.collobert.com/senna/
• State-of-the-art performance on many tasks
• 3500 lines of C, extremely fast and using very liCle memory
• Recurrent Neural Network Language Model
http://www.fit.vutbr.cz/~imikolov/rnnlm/
• Recursive Neural Net and RAE models for paraphrase detection, sentiment analysis, relation classificationwww.socher.org
• Stochastic gradient descent and seáng learning rates
• Main hyper-parameters
• Learning rate schedule & Early stopping
• Minibatches
• Parameter initialization
• Number of hidden units
• L1 or L2 weight decay
• Sparsity regularization
• Debugging à Finite difference gradient check (Yay)
• How to efficiently search for hyper-parameter configurations
tanh(z)=2logistic(2z)−1
tanh is better than sigmoid(logistic) in deep learning
Ordinary gradient descent is a batch method, very slow, should never be used. Use 2nd order batch method such as LBFGS.
Initialize weights ~ Uniform(-r,r), r inversely proportional to fanin (previous layer size) and fan-out (next layer size)
【Deep Learning学习笔记】Deep learning for nlp without magic_Bengio_ppt_acl2012相关推荐
- 笔记 | 吴恩达Coursera Deep Learning学习笔记
向AI转型的程序员都关注了这个号☝☝☝ 作者:Lisa Song 微软总部云智能高级数据科学家,现居西雅图.具有多年机器学习和深度学习的应用经验,熟悉各种业务场景下机器学习和人工智能产品的需求分析.架 ...
- 【Machine Learning 学习笔记】Stochastic Dual Coordinate Ascent for SVM 代码实现
[Machine Learning 学习笔记]Stochastic Dual Coordinate Ascent for SVM 代码实现 通过本篇博客记录一下Stochastic Dual Coor ...
- 【Machine Learning 学习笔记】feature engineering中noisy feature的影响
[Machine Learning 学习笔记]feature engineering中noisy feature的影响 通过本篇博客记录一下添加噪声对Lasso和SVM的影响,采用的数据集为sklea ...
- 网上某位牛人的deep learning学习笔记汇总
目录(?)[-] 作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处 Deep learning一基础知识_1 Deep le ...
- Machine Learning 学习笔记1 - 基本概念以及各分类
What is machine learning? 并没有广泛认可的定义来准确定义机器学习.以下定义均为译文,若以后有时间,将补充原英文...... 定义1.来自Arthur Samuel(上世纪50 ...
- Machine Learning学习笔记(十)K-means聚类算法
K-Means介绍 K-means算法是聚类分析中使用最广泛的算法之一.它把n个对象根据他们的属性分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高:而不同聚类中的对象相似度较小.其聚类 ...
- Machine Learning学习笔记(四)EML极限学习机
EML定义 极限学习机器( Extreme Learning Machine,ELM) 是神经网络研究中的一种算法,是一种泛化的单隐层前馈神经网络( Single-hidden Layer Feed ...
- 鸟叔的linux私房菜:第0章 计算机概论学习笔记(Learning Notes for Basic Computer Theory)
本博客是针对<鸟叔的Linux私房菜 基础学习篇 第四版>的第0章 计算机概论的学习笔记. 1 电脑辅助人脑的好工具 11 计算机硬件的五大单元 12 一切设计的起点CPU的架构 其它单元 ...
- CV视觉论文Deep learning学习笔记(一)
论文介绍和监督学习(introduction of paper and supervision of learning) 1. 论文介绍和作者介绍 作者:论文作者是2018年图灵奖得主yoshua B ...
最新文章
- EasyUI datagrid控件的基本使用
- 谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络、CV、NLP 难点解析
- 《神策军》第四期来袭!
- 《赛博朋克 2077》与《对马岛之魂》的「不自由感」究竟从何而来?
- ADS错误(Fatal)L6002U解决方法
- HDU 4281 Judges' response [MTSP]
- 【Matlab/C/Python/VB/...】代码复制到word时如何变成彩色的
- 美司法部揭秘俄黑客窃取雅虎5亿帐户资料全过程
- 学python可以从事什么工作-学Python可以找什么工作或者做什么兼职?
- (转)WebApi发送HTML表单数据:文件上传与多部分MIME
- jack编译报错的问题
- 深入理解 JVM 第三版
- java成语填充,java - 什么是“执行”这个成语?
- 小技巧:visio 如何让箭头完全水平
- 临时邮箱 十分钟邮箱 简介
- PS2022安装教程(附个人详细安装教程)
- Android 视频直播的流程总览
- 12 WebGL移动、旋转和缩放中的平移
- easyui表格自动换行
- 关于C和C++的争论
热门文章
- 精挑细选100+技术公众号优秀文章
- 啊哈C——学习2.8一起来找茬
- 利用OpenCV检测图像中的多个水果
- linux系统下载编译器,linux gcc编译器下载 GNU Compiler Collection(gcc编译器) v4.7.0 for linux版 下载-脚本之家...
- 源生之能--to Rain
- 人工智能伦理风险治理具有复杂性,尚未形成完善的理论架构和治理体系
- ZYNQ学习之pl和ps接口
- C 语言 抽象语法树AST
- layui内置模块(layer弹出层)
- python实现用程序给自己发邮件