第一章 语料库语言学基本知识
第一章 语料库语言学基本知识
(2012-10-21 22:53:07)
标签:
杂谈 |
分类: 我的阅读 |
《语料库应用教程》梁茂成 李文中 许家金著 外语教学与研究出版社 2011年1月
第一部分 语料库语言学基本知识与语料库基本操作
第一章 语料库语言学基本知识
一 基本概念
1. 文本:plain text 纯文本
raw text 生文本: 保存生语料的文本。
annotated text 标注文本:标示语料来源、文本内部结构、文本中的语言单位等多种语言信息和非语言
信息。
2. 标注 annotation
常见标注包括元信息标注、词性赋码、句法标注、语言标注、语用标注、语音标注、语误标注等。
元信息(metadata)标注metadata markup:标注非语言信息,包括文本的外部信息(如引用源、出版商、出版年代、作者等信息)和文本的内部结构信息(如标题、段落、文献、伴随口语的副语言特征等)。
词性赋码 (part-of-speech tagging POS tagging),自动词性赋码标注技术,自动词性赋码器有Brill POS tagger, CLAWS, TreeTagger等。
3. 形符、类符、类符/形符比
形符 token 相当于日常说的“词”,
类符 type 指不重复计算的形符数。
如 Rose is a rose is a rose is a rose. 此句有10个形符,3个类符(rose, is ,a )。
形次比 TTR=type-token ratio= (3/10)*100%=30
标准化类符/形符比 standardized TTR : 较为可靠的词汇密度测量工具。具体算法见P9.
4. 概率 probability 与频率 frequency
频率 frequency :标准化频数。
频数 frequencies or coccurences 标准化前的频数
***** 频率对语料库研究至关重要,语料库相关研究中的对比最终常落实到频率的对比,语料库内部词汇或短语的比较和两个乃至更多语料库间比较最终往往是频率的比较。如在同一语料库中man / woman哪个词用得多?
***** 在基于语料库的研究中,我们常常某个或某些词、短语或其他语言单位在两个语料库中的出现频数参照两个语料库的容易通过卡方检验或其他统计方法进行对比,依此来确定两个语料库在特定语言单位的使用上是否存在显著差异。(关于显著性差异及假设检验,参见李绍山《语言研究中的统计学》P86)
5. 索引、索引工具和索引行(第三章详细介绍索引工具的使用方法和索引行的解读方法)
索引concordance, 又称为KWIC,key word in context 语境中的关键词,
索引软件 concordancer
检索词search word,又称节点 node
三类索引工具:A。通用索引工具,一般单机运行,如WordSmith Tools, AntConc 及 Concordance
B. 专用索引工具,即部分大语料库采用自己的索引工具,如BNC的配套索引工具Sara 及Xaria
C. 基于网络的索引工具,必须在线运行, 一般用户不可选择自己的语料进行检索。
6. 搭配与类联接
搭配强度 collocability: 测量collocability 的方法有MI(mutual information), MI3, Z-score及对数似然率(log-likelihood)
类联接colligation:类联接所关注的“结伴关系”不再局限于词汇层面,而上升到词类乃至语法层面,如形容词经常与名词构成类联接。 类联接可以看成是搭配的更高层次,与语言的句法方面有密切关系。
7. 多词序列
多词序列 MWE(multiword expressions),又称多词单位 multiword units, 复现词组 recurrent word combinations, 与此相关的方法还有词块kixical chunks, 词簇word clusters, 预制语块 prefabs, 套语formulaic sequences, N元组n-grams等,是近来研究的热点。
研究多词序列的原因:孤立地研究词根本不能解决语言中的众多问题,而脱离词去研究语法似乎同样困难重重。因此在语料库语言学界,词的概念逐渐淡化。(语境角度研究语言)
文中提供了提取多词序列的操作原理,但某一N元序列出现频率多意味着什么呢,该如何解释?
8. 语义韵semantic prosody
如在某一语料库中检索cause发现其后的宾语几乎都表示一些不好的结果,即cause一旦后接宾语,就往往产生一种不良的联想意义,此即为semantic prosody.(cause 作为动词本身似乎不带有什么褒贬色彩,词典中解释该词时也没考虑这一点)
9.正则表达式 (regular expressions, or regex, regexp) (难点)
第一章 语料库语言学基本知识相关推荐
- 第一章c语言基础知识答案,第一章 C语言的基础知识练习题
第一章 C语言的基础知识练习题 第一章 C语言的基础知识 第一节 对C语言的初步认识 习题 1. 下列叙述中错误的是 B A)任何一个C程序都必须有且仅有一个main函数,C语言总是从main函数开始 ...
- 计算机基础知识第一章测试题,计算机基础知识测试题第一章
第一章 计算机基础知识 一.单项选择题 1.信息能够实现增值主要因为信息具有( ) A.可处理性 B.价值性 C.共享性 D. 时效性 2.文化具有的基本属性不包括( ) A.广泛性 B.深刻性 C. ...
- CCAA 认证通用基础卷之(一)合格评定基础 第一章合格评定基础知识
考点大纲要求及学习要点笔记 # 考纲要求: 3.1 合格评定基础知识 3.1.1 理解.掌握合格评定基本概念与知识 a)合格评定的活动.对象.依据.性质: b)合格评定在国民经济中的定位.作用:c) ...
- 第一篇第一章燃烧的基础知识
2019/1/3 [录播]2018一消精华班-实务-一级消防工程师-环球网校 http://v.edu24ol.com/?type=lesson&id=178941&gid=16157 ...
- 【第一章】计算机基础知识
第一章 计算机基础知识 课程介绍 面向的层次:From Zero to Hero(从入门到精通) 学习方法:认真听讲,多敲代码(会了也要多敲) 必备技能:一.计算机基本操作(软件的下载安装,特别是py ...
- 人们使用计算机网络的主要目的是,第一章《计算机网络基础知识》试题
<计算网络技术与应用>第一章试题 姓名得分 一.填题(每空1分,共10分) 1.计算机网络是和紧密结合的产物,是现代信息社会的 基础设施. 2.常见的网络拓扑结构有.和. 3.人们使用网络 ...
- 第一章 【教育基础知识和基本原理】
第一节 教育的产生与发展 1.教育的概念: 教育是一种培养人的社会活动,是传承社会文化.传递生产生活经验.社会生活经验的基本途径. 广义教育:学校教育.家庭教育.社会教育 狭义教育:学校教育 2.教育 ...
- Python快速编程入门#学习笔记01# |第一章 :Python基础知识 (Python发展历程、常见的开发工具、import模块导入)
全文目录 ==先导知识== 1 认识Python 1.1.1 Python的发展历程 1.1.2 Python语言的特点 2. Python解释器的安装与Python程序运行 1.2.1 安装Pyth ...
- 第一章、计算机基础知识(全部内容阅读版)
目录 考纲要求 一.计算机发展史 1. 第一台现代电子计算机 2. 五大人物 3. 计算机的发展阶段 4. 计算机的特点 5. 计算机的分类 6. 计算机的应用 7. 计算机的发展趋势 8. 未来计算 ...
- 内网渗透测试第一章——内网基础知识
(一)内网基础知识 1. 内网概述 内网也指局域网(Local Area Network,LAN)是指在某一区域内由多台计算机互联成的计算机组.一般是方圆几千米以内.局域网可以实现文件管理.应用软件共 ...
最新文章
- python使用imbalanced-learn的CondensedNearestNeighbour方法进行下采样处理数据不平衡问题
- android ORM 框架 search
- C++对象模型3——vptr的位置、手动调用虚函数、从汇编代码看普通调用和多态调用
- Windows 32位程序在64位操作系统下运行
- 华硕主板X99-E WS/USB 3.1固件更新
- dell r720服务器raid5安装centos6.5系统
- Vue中src属性绑定的问题
- 在Dubbo中使用高效的Java序列化(Kryo和FST)
- jquery实现图片懒加载
- jtextpane设置不能选中_在Bridge cc中不能使用camera raw 的编辑功能,解决方法
- (kruskal算法复习+模板)Eddy's picture
- 35岁的程序员,真的要转管理吗?
- 互联网的未来之上:平权的互联网
- 经典高清C语言 The C Programming Language
- 【NOIP2017】【Luogu3954】成绩(模拟)
- MAC IDEA 常用快捷键
- python安装库的命令-免费足球现场直播直播
- 校园网GiWiFi模拟登陆
- 电脑系统常见进程-进程管理
- WaterMark 1.0
热门文章
- 汇编语言:将ASCⅡ码表示的十进制数转换为二进制数/十六进制数
- 灵格斯怎么屏幕取词_完整页灵格斯词霸怎么用,灵格斯词霸使用教程_9号资讯
- 微信朋友圈点赞和评论测试用例
- pscc2019滤镜抽出_Photoshop(ps)cc2019 已经发现你啦!
- mt4怎么用云服务器跟单,免费好用的跟单系统 神速MT4跟单ea系统使用教程
- WPF 加载GIF图片
- 数字电路基础知识——时序逻辑电路之存储器(SRAM、DRAM、ROM)
- Learun FrameWork V7.0,敏捷开发向导快速配置
- python的pyaudio教程入门_Python音频操作工具PyAudio上手教程
- java jvm理解_【java】之深入理解JVM