内容纲要

参考书：《统计自然语言处理(第2版)》，《形式语言与自动机理论》，《统计自然语言基础》，《自然语言处理综论》 ，《概率图模型：原理与技术》，《概率论与数理统计》,《统计学方法》，《中文自动分词与标注》

句法分析概述：

句法结构分析：对输入的单词序列(一般为句子)，判断其构成是否合乎给定的语法，并分析出合乎语法的句子的句法结构。

句法分析的任务：

判断输入的字符串是否属于某种语言

消除输入句子中词法和结构等方面的歧义

分析输入句子的内部结构

构造句法分析器：

语法的形式化表示和词条信息描述问题

分析算法的设计

句法结构分析方法：

基于规则的句法结构分析

基于统计的语法结构分析

PCFG：基于概率的上下文无关文法

论文：《Probabilistic Context-Free Grammars (PCFGs)》

思想：(结合论文看，该论文是一个lecture note，很棒)

CFG：提出了四元文法，最左文法

基于CFG的句法分析模型满足三个假设条件：位置不变性，上下文无关性，祖先无关性

符合乔姆斯基范式，左边都为单个非终结符，右边要么都是非终结符，要么只有终结符，

如：

但是不同的语法树解析相同的句子，可能有不同意思。

有了语法树可以定义概率

TＧ(Ｓ)表示具体解析树，当大于一表示有歧义，所以要用概率树选最大的。

三大问题：1)已知产式概率，求语法树概率。2)求所有语法树中最大概率。3)不知道产式概率，求参数。这三个问题刚好对应HMM的三大问题。

如果有corpus可以统计处概率则，方法是文法每个产式可以根据corpus统计出概率，然后生成树的过程不断把概率相乘，最后得到最终的树的概率。难点在于如何遍历所有产式，得到所有树的概率。用dp解答，写出递推式子，每个树是在子树概率基础上得到的。

如果没有corpus，则用EM求解：

浅层句法分析：

完全句法分析是困难的任务，目前还没令人满意的解决方法

树库成本昂贵

浅层句法分析：完全句法分析的简化任务版，主要包括两个子任务，语块识别与分析，语块之间依附关系分析

语块(chunk)：句子中的结构独立，相对较简单的部分。例如，名词短语，动词短语

BaseNP：

与命名实体区别：命名实体是词典中查不出的，BaseNP可以是查得出的

识别方法：

基于CRF识别BaseNP

基于SVM识别BaseNP

混合方法

基于CRF识别BaseNP：

参考论文：转化为标注问题《Shallow Parsing with Conditional Random Fields》

说明：就是写出标记之间的状态转移，然后根据CRF写出模型公式，求解参数

基于SVM识别BaseNP：

参考论文：

《Use of  Support Vector Learning for Chunk Identification》最后用的是线性SVM

《Fast Methods for Kernel-based Text Analysis》上文改进，用了核函数

思想：

说明：

Col0为词序列，col1为词性序列，tag为标注序列，

以deficit为例，取前后词，词性，和tag，所有词和词性和tag都用word vector(0-1)表示，然后tag是类别，进行分类，训练出分类模型。注意特征集包含了前两个tag

为了保证空间要求，对数据进行压缩，比如(3，101，1791)表示三个词的vector

混合方法：

参考论文：《A Hybrid Approach to Chinese Base Noun Phrase Chunking》

思路：结合SVM+CRF多种因素的结果

结果分析：

依存语法(了解，不细讲)：

依存语法：用词不词之间的依存关系来描述语言结构的框架

L.Tesniere理论：一切结构局句法现象可概括为关联，组合，转位三大核心。句法关联建立起词不词之间的从属关系，这种从属关系是由支配词和从属词联结而成。价的概念：一个动词所能支配的行动元的个数。

参考论文：

《Non-projective Dependency Parsing using Spanning Tree Algorithms》

《Layer-Based Dependency Parsing》

语义分析(不细讲，了解)：一个词多种意思，通过 分析技术，确定它在上下文中的真实意思

篇章分析：自动文摘：摘录，指代消解，衔接问题

指代消解：

论文：

《指代消解综述》：对指代消解进行了综述，其中有中文部分

《Coreference Resolution Current Trends and Future Directions》：综述文章

《First-Order Probabilistic Models for Coreference Resolution》：从上面综述文章中来的一篇

最后一篇思路：

说明：图一边表示之间关系的概率，公式为计算概率的公式

步骤：

1)corpus聚类，找到(bush, he)这样的对

2)根据特征模板，选取特征，就是最后语料每个是啥样

3)利用最大熵求解“人k”

4)得到P

5)得到图

6)分区和聚类问题

7)改进：First-Order Logic Model

自动文摘：

Luhn在1958年的开创性工作

自劢文摘技术分类：单文档摘要，多文档摘要等

方法：

VSM方法

基于隐语义的方法

基于HMM的方法

VSM方法：

论文：《基于潜在语义分析的单文本自动摘要方法研究》里面提到了

基于潜在语义的方法

论文：《基于潜在语义索引的文本摘要方法》，《LATENT DIRICHLET LEARNING FOR DOCUMENT SUMMARIZATION》

思路：

基于HMM的方法：

参考论文：《Catching the Drift Probabilistic Content Models, with Applications to Generation and Summarization》

思路：

多文档摘要：不成熟，不细讲

问题：

怎样找到感兴趣的多篇文档？

怎样从多篇文档里联合抽取？

抽取出来的句子按怎样的顺序排列？

抽取出来的句子怎样做到上下文“融合”？

参考论文：

《Centroid-based summarization of multiple documents》

《Sentence Fusion for Multidocument News Summarization》