1.1 复习第一周课程内容

1.1.1 word vector

词向量的表示方法一般有两种，一种是one-hot representation(独热编码，稀疏表达)，还有一种是distributed representation（稠密表达），一般用到的都是分布式表达的词向量表示方法。

word2vec是稠密表达的一种算法，是一种自编码的无监督训练算法。word2vec有两种模型，一种是CBOW，一种是Skip-gram。

Word2vec的损失函数可以表示为：logp(o∣c)=logexp(uoTvc)∑w=1V(uwTvc)log\space p(o|c)=log\frac{exp(u_o^Tv_c)}{\sum_{w=1}^V(u_w^Tv_c)}log p(o∣c)=log∑w=1V(uwTvc)exp(uoTvc)

因为原始训练方法训练比较复杂繁琐，因此提出了负采样的方法，负采样方法的损失函数计算公式为：Jt(θ)=logσ(uoTvc)+∑i=1kEj∼P(w)[logσ(−ujTvc)]J_t(\theta)=log \sigma(u_o^Tv_c)+\sum_{i=1}^kE_{j\sim P(w)}[log\space \sigma(-u_j^Tv_c)]Jt(θ)=logσ(uoTvc)+i=1∑kEj∼P(w)[log σ(−ujTvc)]
该算法使用梯度下降进行参数更新：θnew=θold−α▽θJ(θ)\theta^{new}=\theta^{old}-\alpha \triangledown_{\theta}J(\theta)θnew=θold−α▽θJ(θ)

word2vec模型性能的评价方法分为内部评价和外部评价；glove是全局统计方法+word2vec的方法；

1.2 分类器

1.2.1 决策树

优点：

便于理解、展示；
特征可以是离散、缺失；

缺点：

容易过拟合；
数值型特征不好处理；
特征多的时候树过大；

1.2.2 熵（Entropy）

H(X)=∑i=1np(xi)log1p(xi)H(X)=\sum_{i=1}^np(x_i)log\frac{1}{p(x_i)}H(X)=i=1∑np(xi)logp(xi)1

1.2.3 交叉熵

交叉熵计算的是两个概率分布的距离，假设现在有两个概率分布，一个是样本分布概率p，一个是模型概率分布q。两个概率之间的交叉熵就是H(p,q)=−∑ip(xi)logq(xi)H(p,q)=-\sum_ip(x_i)log\space q(x_i)H(p,q)=−i∑p(xi)log q(xi)交叉熵越小，表示真实概率分布和模型估计概率分布越接近。我们要优化模型，目的就是为了使交叉熵变小。

1.2.4 决策平面

决策平面p(y=1∣x)p(y=0∣x)=1\frac{p(y=1|x)}{p(y=0|x)}=1p(y=0∣x)p(y=1∣x)=1
当p(y=1∣x)>p(y=0∣z)p(y=1|x)>p(y=0|z)p(y=1∣x)>p(y=0∣z)，样本被分到y=1y=1y=1类；
当p(y=1∣x)<p(y=0∣x)p(y=1|x)<p(y=0|x)p(y=1∣x)<p(y=0∣x)，样本被分到y=0y=0y=0类；

1.3 命名实体识别（Named Entity Recognition）

命名实体识别的发展历史

早期方法：基于规则、基于字典；应用正则表达式，符合某种结构的认为是某一种词性。
传统机器学习：HMM、MEMM、CRF；
深度学习：RNN-CRF、CNN-CRF；
近期方法：注意力模型、迁移学习、半监督学习；

命名实体识别类别

三大类：实体类、时间类、数字类；
七小类：人名、地名、组织机构名、时间、日期、货币、百分比；

实际应用中，NER模型通常只要识别出人名、地名、组织结构名，可以定义实际需要的NER类别；

B-ORG：组织开始名
I-ORG：组织中间名
E-ORG：组织结束名
B-PER：人名
I-PER
E-PER
B-LOC：地名
I-LOC
E-LOC

NER当前学术界认为是已经解决的问题，但应用中歧义和错误仍然很多；
因为命名实体识别的训练语料是有限的，主要的训练语料是新闻语料，实体类别也是固定的，一般不会很多。通过训练数据，测试效果可能不错，但是在实际应用中一般应用于比较难的任务，这时效果比较差。NER本身是一个开放性问题，实体是不断增加的，网络词汇会不断增加，NER在没有足够训练语料的情况下很难取得较好的结果，所以NER在实际应用中的效果并没有很好。

CS224n——lecture3课程导学相关推荐

计算机辅助技术学什么课,《CADCAM》课程导学计划
原标题:<CADCAM>课程导学计划 CADCAM课程导学计划课程的性质.目的及任务 CAD_CAM在AutoCAD基础上,进一步掌握三维CAD的建方法,并以此为切入点,转而学习并掌握常 ...
Python语言程序设计第0周第1周 Python课程导学、基本语法元素
第0周 Python课程导学线上线下相结合,手机电脑相结合,长短时间相结合线上线下线上看视频/做练习.线下读教材/看资料手机电脑视频/作业用手机.编程实践用电脑长短时间视频/作业用零碎时 ...
视频教程- 1-1 课程导学和Python简介-Python干货！
关于「课程导学和Python简介」的相关基础知识百科介绍: Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计,作为一门叫做ABC语言的替代品. Py ...
新课程导学杂志新课程导学杂志社新课程导学编辑部2022年第30期目录
前沿<新课程导学>投稿:cn7kantougao@163.com 贵州四条线路入选"稻花香里说丰年"全国乡村旅游精品线路邓小青; 1 基地梯云村落, ...
课程导学第一章计算机基础,计算机基础实践导学课程教案
计算机基础实践导学课程教案语音编辑锁定讨论上传视频 <计算机基础实践导学课程教案>是2011年9月23日清华大学出版社出版的图书,作者是付钪.李红豫. 书名计算机基础实 ...
课程导学第一章计算机基础,第一章计算机基础讲述.pptx
第一章计算机基础讲述信息技术基础(计算机基础);我校非计算机专业的公共必修课<计算机基础>和<计算机基础实验>独立设课,前者36学时2学分,后者36学时1学分.1. < ...
计算机网络本课程导学,课程导学 - 操作系统原理 - 浙江大学网络教育精品资源共享课...
课程名称:操作系统原理授课时数:32学时面向对象:计算机科学与技术专业预修课程要求:C/C++程序设计语言.数据结构一.课程介绍操作系统是一门理论与实践并重的专业核心课程.本课程的主要任务是帮 ...
Python3+TensorFlow人脸识别：1-1课程导学
关键点定位在于:关键点坐标回归活体检测
上标3下标6算法_插入排序算法导学案
本文为"选考VB算法专题系列讲座9插入排序算法"视频配套的导学案,请同学们先完成导学案再收看视频.明天将推送"选考VB算法专题系列讲座9插入排序算法"视频,敬请 ...

CS224n——lecture3课程导学