主要内容：

项目的选择：可以选择默认的问答项目，也可以自定义项目
如何发现自定义项目
如何找到数据集
门神经网络序列模型的复习
关于机器翻译的一些话题
查看训练结果和进行评估

一、项目的选择

默认项目:在SQuAD上构建一个文本问答系统

数据集地址SQuAD2.0：https://rajpurkar.github.io/SQuAD-explorer/

二、找到自己感兴趣的项目

找到一个感兴趣的领域的问题找到一个比现有的解决办法更好的办法

以一个感兴趣的技术方法开始，找到好的方法扩展或者提升它，或者是一个新的方法实现它

项目的类型：

找到一个感兴趣的应用或者任务，探索怎么通过已有的神经网络模型高效的实现它

实现一个复杂的神经架构证明它在一些新数据上的性能

提出一个新的或者变体的神经网络模型然后探索它的应用

分析项目。分析模型的行为，它的逻辑是怎么展开的，它能处理什么或者它可能会产生什么错误

罕见的理论项目，展示一些有趣的，没有见过的模型类型，数据或者数据表示

如何找到一个有趣的项目？

查看NLP论文的ACL选集：(ACL:The Association for Computational Linguistics Member Portal)

https://aclanthology.info

查看主要的机器学习会议的线上过程：

NeurIPS, ICML, ICLR

查看过去的cs224n的项目

查看课程网站

查看论文的预收录网站：

https://arxiv.org

这个网站的作用是：我们会将预稿上传到arvix作为预收录，因此这就是个可以证明论文原创性（上传时间戳）的文档收录网站。

http://www.arxiv-sanity.com（好像是斯坦福大学自己构建的网站？）

三、找到数据集

一些人为项目收集自己的数据
一些人从一个研究项目或者公司里获取数据
大部分人使用前人构建好的数据集

语言数据：

https://catalog.ldc.upenn.edu/

斯坦福大学的数据集：
机器翻译的数据：

http://statmt.org

依存分析：

https://universaldependencies.org

还有很多其他的途径找到数据集：

kaggle

研究论文

https://machinelearningmastery.com/datasets-natural-language-processing/
https://github.com/niderhoff/nlp-datasets

四、回顾门循环单元和机器翻译

梯度消失的原因：

反向传播时会经过所有直接相连的节点

可以通过给不相邻的节点增加一条路径的方式解决，使得信息不会丢失

单词生成的过程中出现的问题：

单词库太大，训练时间很长

有些单词在单词库中不存在，所以翻译生成的是<unk>的形式

机器翻译的评估

人工评估
测试下游任务的性能
自动评估：

BLUE

BLUE的评估方法：（目前还不太理解这个方法的原理和应用）

n-gram精度

项目开展：

确定任务
确定数据集：寻找学术数据集，它们已经定义好了baselines，比如Newsroom Summarization Dataset：https://summari.es
确定自己的数据集，应该是要从上述数据集中抽取出自己需要的部分
分割数据集：训练集、验证集、测试集
定义评价指标
建立一个基线：

先实现最简单的模型（通常是在unigram或者平均词向量上实现逻辑回归）
评估模型
分析错误
继续开始

应用现有的神经网络模型
可视化数据，收集总结数据，查看错误，分析超参数

关于RNN训练的建议：

cs224n 2019 Lecture 9: Practical Tips for Final Projects相关推荐

Lecture 9: Practical Tips for Final Projects
文章目录 The Final Project The Default Final Project Project Proposal Project Milestone Finding Research ...
CS224n 2019 Winter 笔记（一）：Word Embedding:Word2vec and Glove
CS224n笔记:Word2Vec:CBOW and Skip-Gram 摘要一.语言模型(Language Model) (一)一元模型(Unary Language Model) (二)二元模型 ...
CS224n 2019 Winter 笔记（三）：句子依存分析（Dependency Parsing）
CS224n 2019 Winter 笔记(三):句子依存分析(Dependency Parsing) 一.概述二.语言结构的两种Views (一)成分分析(constituent parsing) ...
CS224N 2019年课程第一次作业复现
本次作业主要介绍余弦相似性两种求词向量的方法基于计数(词共现矩阵 + SVD) 基于预测(word2vec) 完整代码:CS 224N | Home 一.环境及数据问题 1.gensim安装 p ...
CS224N 2019 Assignment 2
Written: Understanding word2vec Let's have a quick refresher on the word2vec algorithm. The key insi ...
CS224N 2019 自然语言处理（一）自然语言处理库gensim之Word2vec
笔记摘抄 1. WordNet显示同义词 from nltk.corpus import wordnet as wn# 同义词 poses = {'n': 'noun', 'v': 'verb', ' ...
PAMTRI：用于车辆重新识别的姿势感知多任务学习
Today, we will discuss an unorthodox paper by NVIDIA Labs on Vehicle Re Identification. 今天,我们将讨论NVID ...
斯坦福CS224n追剧计划【大结局】：NLP和深度学习的未来
一只小狐狸带你解锁炼丹术&NLP秘籍简介 Stanford CS224n追剧计划是由夕小瑶的卖萌屋发起的开源开放NLP入门项目,借助github和微信群为大家提供同期小伙伴打卡讨论.内容沉淀 ...
NLP学习-Task 3: 子词模型Subword Models
NLP学习更新流程↓ Task 1: 简介和词向量Word Vectors Task 2: 词向量和词义Word Senses Task 3: 子词模型Subword Models Task 4: ...

cs224n 2019 Lecture 9: Practical Tips for Final Projects