隐含马尔可夫模型HMM的中文分词器入门-1

<pre name="code" class="sql">http://sighan.cs.uchicago.edu/bakeoff2005/

http://www.52nlp.cn/中文分词入门之资源

中文分词入门之资源作为中文信息处理的“桥头堡”，中文分词在国内的关注度似乎远远超过了自然语言处理的其他研究领域。在中文分词中，资源的重要性又不言而喻，最大匹配法等需要一个好的词表，而基于字标注的中文分词方法又需要人工加工好的分词语料库。所以想研究中文分词，第一步需要解决的就是资源问题，这里曾经介绍过“LDC上免费的中文信息处理资源”，其中包括一个有频率统计的词表，共计44405条，就可以作为一个不错的中文分词词表使用。而一个好的人工分词语料库，需要很大的人力物力投入，所以无论研究还是商用往往需要一定的费用购买，好在SIGHAN Bakeoff为我们提供了一个非商业使用（non-commercial）的免费获取途径，以下将介绍SIGHAN Bakeoff及相关的中文分词入门资源。SIGHAN是国际计算语言学会（ACL）中文语言处理小组的简称，其英文全称为“Special Interest Group for Chinese Language Processing of the Association for Computational Linguistics”，又可以理解为“SIG汉“或“SIG漢“。而Bakeoff则是SIGHAN所主办的国际中文语言处理竞赛，第一届于2003年在日本札幌举行（Bakeoff 2003),第二届于2005年在韩国济州岛举行(Bakeoff 2005), 而2006年在悉尼举行的第三届（Bakeoff 2006）则在前两届的基础上加入了中文命名实体识别评测。目前SIGHAN Bakeoff已成功举办了6届，其中Bakeoff 2005的数据和结果在其主页上是完全免费和公开的，但是请注意使用的前提是非商业使用（non-commercial）:The data and results for the 2nd International Chinese Word Segmentation Bakeoff are now available for non-commercial use.在Bakeoff 2005的主页上，我们可以找到如下一行：“The complete training, testing, and gold-standard data sets, as well as the scoring script, are available for research use”，在这一行下面提供了三个版本的icwb2-data。下载解压后，通过README就可以很清楚的了解到它包含哪些中文分词资源，特别需要说明的是这些中文分词语料库分别由台湾中央研究院（Academia Sinica）、香港城市大学（City University of Hong Kong）、北京大学(Peking University)及微软亚洲研究院（Microsoft Research）提供，其中前二者是繁体中文，后二者是简体中文,以下按照README简要介绍icwb2-data:1) 介绍（Introduction）：本目录包含了训练集、测试集及测试集的（黄金）标准切分，同时也包括了一个用于评分的脚本和一个可以作为基线测试的简单中文分词器。(This directory contains the training, test, and gold-standard data used in the 2nd International Chinese Word Segmentation Bakeoff. Also included is the script used to score the results submitted by the bakeoff participants and the simple segmenter used to generate the baseline and topline data.)2) 文件列表（File List）在gold目录里包含了测试集标准切分及从训练集中抽取的词表（Contains the gold standard segmentation of the test data along with the training data word lists.）在scripts目录里包含了评分脚本和简单中文分词器（Contains the scoring script and simple segmenter.）在testing目录里包含了未切分的测试数据（Contains the unsegmented test data.）在training目录里包含了已经切分好的标准训练数据（Contains the segmented training data.）在doc目录里包括了bakeoff的一些指南（Contains the instructions used in the bakeoff.）3) 编码（Encoding Issues）文件包括扩展名”.utf8”则其编码为UTF-8(Files with the extension “.utf8” are encoded in UTF-8 Unicode.)文件包括扩展名”.txt”则其编码分别为（Files with the extension “.txt” are encoded as follows）:前缀为as_，代表的是台湾中央研究院提供，编码为Big Five (CP950)；前缀为hk_，代表的是香港城市大学提供，编码为Big Five/HKSCS；前缀为msr_，代表的是微软亚洲研究院提供，编码为 EUC-CN (CP936)；前缀为pku_，代表的北京大学提供，编码为EUC-CN (CP936)；EUC-CN即是GB2312（EUC-CN is often called “GB” or “GB2312” encoding, though technically GB2312 is a character set, not a character encoding.）4） 评分（Scoring）评分脚本“score”是用来比较两个分词文件的，需要三个参数（The script ‘score’ is used to generate compare two segmentations. The script takes three arguments)：1. 训练集词表（The training set word list）2. “黄金”标准分词文件（The gold standard segmentation）3. 测试集的切分文件（The segmented test file）以下利用其自带的中文分词工具进行说明。在scripts目录里包含一个基于最大匹配法的中文分词器mwseg.pl，以北京大学提供的人民日报语料库为例，用法如下：./mwseg.pl ../gold/pku_training_words.txt < ../testing/pku_test.txt > pku_test_seg.txt其中第一个参数需提供一个词表文件pku_training_word.txt，输入为pku_test.txt，输出为pku_test_seg.txt。利用score评分的命令如下：./score ../gold/pku_training_words.txt ../gold/pku_test_gold.txt pku_test_seg.txt > score.txt其中前三个参数已介绍，而score.txt则包含了详细的评分结果，不仅有总的评分结果，还包括每一句的对比结果。这里只看最后的总评结果：…
= SUMMARY:
=== TOTAL INSERTIONS:    9274
=== TOTAL DELETIONS: 1365
=== TOTAL SUBSTITUTIONS: 8377
=== TOTAL NCHANGE:   19016
=== TOTAL TRUE WORD COUNT:   104372
=== TOTAL TEST WORD COUNT:   112281
=== TOTAL TRUE WORDS RECALL: 0.907
=== TOTAL TEST WORDS PRECISION:  0.843
=== F MEASURE:   0.874
=== OOV Rate:    0.058
=== OOV Recall Rate: 0.069
=== IV Recall Rate:  0.958
### pku_test_seg.txt    9274    1365    8377    19016   104372  112281  0.907   0.843 0.874 0.058   0.069   0.958说明这个中文分词器在北大提供的语料库上的测试结果是：召回率为90.7%，准确率为84.3%，F值为87.4%等。SIGHAN Bakeoff公开资源的一个重要意义在于这里提供了一个完全公平的平台，任何人都可以拿自己研究的中文分词工具进行测评，并且可以和其公布的比赛结果对比，是驴子是马也就一目了然了。注：原创文章，转载请注明出处“我爱自然语言处理”：www.52nlp.cn本文链接地址：http://www.52nlp.cn/中文分词入门之资源

[root@cdh1 scripts]# pwd
/usr/local/hmm/icwb2-data/scripts
[root@cdh1 scripts]# cd
[root@cdh1 ~]# ll
total 96
-rw------- 1 root root  1424 Jul 15 10:34 anaconda-ks.cfg
drwxr-xr-x 2 root root  4096 Jul 15 12:10 Desktop
-rw-r--r-- 1 root root 59635 Jul 15 10:34 install.log
-rw-r--r-- 1 root root  5755 Jul 15 10:19 install.log.syslog
drwxr-xr-x 2 root root  4096 Jul 15 12:33 rpm
[root@cdh1 ~]# cd -
/usr/local/hmm/icwb2-data/scripts
[root@cdh1 scripts]# ll
total 2736
-rwxr-xr-x 1 root root    3543 Aug 10  2005 mwseg.pl
-rw-r--r-- 1 root root  453456 Jul 15 21:59 pku_test_seg.txt
-rwxr-xr-x 1 root root    7228 Aug 15  2005 score
-rw-r--r-- 1 root root 2323550 Jul 15 22:01 score.txt
[root@cdh1 scripts]# rm -rf pku_test_seg.txt
[root@cdh1 scripts]# rm -rf score.txt
[root@cdh1 scripts]# ll
total 12
-rwxr-xr-x 1 root root 3543 Aug 10  2005 mwseg.pl
-rwxr-xr-x 1 root root 7228 Aug 15  2005 score
[root@cdh1 scripts]# ./mwseg.pl ../gold/pku_training_words.txt < ../testing/pku_test.txt > pku_test_seg.txt
[root@cdh1 scripts]# ll
total 460
-rwxr-xr-x 1 root root   3543 Aug 10  2005 mwseg.pl
-rw-r--r-- 1 root root 453456 Jul 15 22:08 pku_test_seg.txt
-rwxr-xr-x 1 root root   7228 Aug 15  2005 score
[root@cdh1 scripts]# tail -50 pku_test_seg.txt
为了 鼓励 人民 群众 揭露 犯罪 的 正义 行动 ， 安徽省 检察 机关 在 全省 公布 了 《 关于 署名 举报 反馈 承诺 试行 办法 》 ， 规定 凡 署名 举报 国家 工作 人员 职务 犯罪 的 ， 举报人 可以 在 举报 1 5 天 后 ， 到 检察 机关 查询 结果 ， 并 严格 规定 了 举报 受理 工作 中 的 保密 制度 。
为了 使 广大 人民 群众 放心 举报 ， 马 鞍山 和 明光 市 检察院 还 率先 推行 了 双向 预约 举报 制度 ， 即 举报人 可以 预约 检察 人员 或 检察长 在 举报人 指定 的 时间 、 地点 接受 举报 。
此举 一 出 ， 受到 群众 的 热烈 响应 。 最新 统计 表明 ， 全省 检察 机关 受理 的 署名 举报 明显 增加 ， 同比 上升 6 5 ％ ， 有力 地 推动 了 职务 犯罪 的 查处 力度 。
一 批 硬 班长 带 出 一 支 硬 队伍
查处 职务 犯罪 是 检察 机关 一 项 重要 工作 ， 而 职务 犯罪 涉及 的 对象 多 是 有 一定 职位 、 权力 和 关系 的 人物 。 因此 ， 能否 顶住 说情风 ， 敢 不 敢 碰 硬是 一个 案件 能否 突破 的 关键 。 检察 干警 们 告诉 记者 ， 这 一切 取决 于是 否 有 一个 硬骨头 的 班子 ， 尤其 是 取决 于 一把手 的 胆识 。
马 鞍山市 金 家 庄 区 检察院 就是 以 敢于 碰 硬 闻名 钢城 的 。
马 钢 某 公司 负责人 肖 某 在 当地 关系 深厚 ， 盘 根 错 结 。 多年 来 ， 群众 多次 举报 他 贪污 、 受贿 问题 ， 他 不但 没有 受到 查处 ， 反而 节节 高升 ， 群众 怨声载道 。 以 检察长 童 海 保 为首 的 新 班子 上任 后 ， 决心 要 啃 下 这块 硬骨头 。
此案 涉及 2 0 多 个 单位 和 个人 ， 多数 有 权 有 势 。 案子 查办 过程 中 ， 他们 不仅 不配 合 ， 反而 不断 向上 级 领导 “ 告状 ” ， 向 有关 部门 施压 ， 企图 以此 阻止 检察 机关 的 工作 。 检察长 童 海 保 知 难 而 上 ， 亲自 督办 。 他 带领 全院 干警 ， 突破 重重 包围 ， 终于 侦破 此案 。
有 了 硬骨头 的 班长 ， 就 有 一 支 硬骨头 的 队伍 。 “ 金 家 庄 人 不 信 邪 ” 的 名声 在外 ， 以至于 其他 辖区 的 群众 也 纷纷 向 该院 举报 。 金 家 庄 检察院 也 因为 查办 贪污 贿赂 大案 所 取得 的 突出 成绩 获得 “ 人民 满意 的 检察院 ” 光荣 称号 。
一 份 检察 建议 改变 了 一个 行业
近年来 ， 建筑 、 金融 、 医药 卫生 等 行业 的 职务 犯罪 呈 高发 趋势 。 安徽省 各级 检察 机关 集思广益 ， 在 查办 大要案 的 同时 把 预防 职务 犯罪 提 上 重要 议事日程 ， 并 在 实践 中 逐步 形成 了 “ 打击 、 监督 、 预防 、 保护 ” 四位一体 的 工作 思路 ， 形成 了 检 企 共 防 、 专项 同步 预防 、 行业 系统 预防 、 个案 跟踪 预防 四 种 模式 并举 的 预防 工作 格局 。
针对 药品 进 购 中 的 回扣 风 ， 马 鞍山市 花 山区 检察院 向 市委 、 市政府 发出 检察 建议 书 ， 建议 在 全市 范围 内 实行 药品 政府 采购 制度 。 这 份 建议 引起 市 有关 部门 高度 重视 ， 并 及时 得到 采纳 。 1 9 9 9 年 8 月 ， 马 鞍山市 关于 医药 采购 的 “ 阳光 工程 ” 在 全市 实行 。
针对 建筑 领域 的 职务 犯罪 问题 ， 合肥市 检察院 与 市 建筑 管理 部门 联手 ， 对 全市 所有 基础 设施 工程 依法 监督 ， 规定 在 签订 “ 建筑 合同 ” 的 同时 ， 必须 签订 “ 廉政 协议 ” ， 由 检察 机关 跟踪 监督 。 近年来 ， 全市 “ 廉政 协议 ” 涉及 合同 标的 3 3 亿 元 。 在 签订 协议 的 工程 中 ， 至今 没有 发现 犯罪 现象 。 有效 地 预防 了 “ 项目 上马 ， 干部 下 马 ” 的 现象 。
记者 在 采访 中 得知 ， 为 预防 金融 系统 的 职务 犯罪 ， 安徽省 各级 检察院 与 有关 部门 联合 ， 于 1 9 9 9 年 7 月 成立 了 专门 的 预防 金融 违法 犯罪 指导 委员会 ， 组建 了 工作 机构 ， 制定 了 工作制 度 ， 与 金融 系统 形成 了 比较 畅通 的 联系 渠道 ， 对 预防 金融 系统 的 违法 犯罪 发挥 了 积极 的 作用 。
从 挪用 公款 案 看 国企 资金 管理 漏洞
据 统计 ， 发生 在 国有 企业 的 挪用 公款 犯罪 已 成为 当前 造成 国有 资产 损失 的 重要 原因 。 去年 1 至 6 月 ， 成都市 检察 机关 查办 的 6 3 起 挪用 案 中 ， 国有 企业 就 有 3 6 件 ， 占 5 7 ％ 。 这些 案件 涉案 金额 大 ， 重 特大 案件 比例 高 ， 其中 5 0 万 元 以上 1 9 件 ， 占 5 3 ％ 。
主体 身份 位 高 权 重 。 犯罪 嫌疑人 中 担任 董事长 、 厂长 、 经理 、 党委 书记 职务 的 企业 高层 领导 约 占 6 7 ％ ， 负责 销售 、 掌 管 财务 的 业务员 、 部门 经理 约 占 3 3 ％ 。
作案 手法 花样翻新 。 一 是 通过 银行 划 账 方式 将 公款 转 至 个人 账户 或 私人 经 办 的 私营 、 合资企业 账户 ， 这种 情况 占 8 2 ％ 。 如 西南 航空 公司 财务 部 经理 刘 然 、 航 材 处 财务 科 科长 邓 龙 辉 仅 一个 月 时间 就 先后 转 款 7 0 0 万 元 至 一家 私营 建筑 企业 ； 二 是 通过 下属 分公司 或 子公司 转 款 。 如 成都 信 达 股份 有限公司 董事长 兼 总经理 谢 成 润 、 副总 经理 周 继 荣 以下 属 分公司 购房 为名 ， 私自 从 信 达 公司 划 款 2 0 8 万 元 至 分公司 用于 支付 其 私人 购买 别墅 的 费用 ； 三 是 私 刻 公章 ， 私设 账户 截留 货款 。
赃款 多 用于 营利 。 在 当前 金融 监管 力度 加大 ， 银行 惜 贷 、 企业 慎 借 的 情况 下 ， 挪用 自己 经手 的 公款 “ 借鸡生蛋 ” ， 既 周转 了 资金 ， 又 不 受 贷款 审批 的 限制 ， 因而 将 国有 企业 的 账户 当作 “ 开放式 的 私人 银行 ” 大肆 挪用 。 所 涉案 件 中 ， 赃款 用于 私人 营利 的 占 7 3 ％ 。
这些 案件 反映 了 国有 企业 在 资金 管理 上 的 漏洞 。
一 、 对 国企 高层 领导 和 重要 岗位 人员 缺乏 监督 。 市场经济 条件 下 国有 企业 的 经营者 可以 自主 支配 企业 资金 ， 但 由于 相应 的 监督 制度 还 不够 配套 完善 ， 少数 国企 高层 领导 和 重要 岗位 人员 得以 随意 动用 手中 掌握 的 国有 资产 为 自己 或 他人 谋取 私利 。
二 、 国企 干部 个人 经商 炒 股 现象 较为 普遍 。 所 涉案 件 中国 企 领导 违反 规定 经商 炒 股 的 占 4 0 ％ 。
三 、 企业 间 相互 拆借 资金 有 禁 不止 。 按 规定 ， 私营 企业 不得 向 国有 企业 拆借 资金 ， 但 有的 国企 领导 却 因 亲朋 私情 而 置 财经 纪律 于 不顾 ， 轻易 将 公款 挪用 给 他人 使用 。 有的 则 虚构 经济 往来 ， 通过 其他 国企 转 款 达到 借款 给 私人 企业 的 目的 。
四 、 股份公司 董事会 决策 审批权 未 落到实处 。 股份公司 的 法人 治理 结构 赋予 董事会 对 资金 、 人员 等 方面 重大 事项 的 决策 审批权 ， 个别 股份 有限公司 在 这方 面 虽 有 一 套 完备 的 制度 ， 但 执行 不力 ， 缺乏 监督 ， 致使 嫌疑人 轻易 得逞 。
五 、 国企 子公司 成为 个别 人 挪用 公款 的 跳板 。 个别 嫌疑人 为 掩人耳目 ， 借 子公司 需 使用 资金 为名 将 公款 从 总公司 账 上 划 到 子公司 ， 然后 再 利用 子公司 财务 管理 薄弱 的 便利 条件 把 款项 转 至 私营 企业 账户 或 提取 现金 。
六 、 某些 企业 出 借 账户 为 他人 犯罪 行 方便 。 犯罪 嫌疑人 往往 编造 资金 往来 的 理由 将 公款 划 至 另 一 国有 企业 的 账户 ， 再 从 该 账户 转 款 、 提 现 ， 而 个别 企业 出于 种种 原因 则 会 违反 财经 纪律 出 借 账户 为 其 大 行 方便 。
公正 执法 关键 在 人 ――― 福建省 检察 机关 公正 执法 巡礼
“ 公正 执法 ， 关键 在 人 。 没有 一 支 高 素质 的 专业化 检察 队伍 ， 公正 执法 就 没有 可靠 的 保证 。 ” 福建省 人民 检察院 鲍 绍 坤 检察长 这样 对 记者 说 。 “ 因此 ， 着力 抓好 队伍 的 政治 和 业务 素质 建设 ， 是 福建省 各级 检察 机关 在 公正 执法 中 的 首要 任务 。 ”
解决 对 人民 群众 的 态度 问题
刑讯 逼供 、 违法 办案 、 作风 粗暴 …… 福建省 各级 检察 机关 深刻 认识 到 ， 队伍 中 之所以 出现 这样 那样 的 问题 ， 很 大 程度 上 同 执法 指导 思想 不 端正 有关 。 因此 ， 他们 从 最 深层 次 的 地方 抓起 ， 开展 了 执法 思想 大 讨论 ， “ 思想 政治 工作 的 成效 和 服务 保证 作用 最终 都 应 体现 在 公正 执法 上 ， 体现 在 对 人民 群众 的 态度 上 。 ”
诉讼 监督 ， 是 司法 公正 的 重要 制度 保证 。 对公 安 机关 该 立 不 立 的 案件 是否 纠正 ， 对 法院 错误 的 判决 结果 是 抗诉 还是 不 抗 ， 从 某种 程度 上来 说 是 个 “ 软 任务 ” ， 福建省 各级 检察 机关 本着 对 人民 负责 的 态度 ， 努力 健全 各项 监督 工作制 度 ， 有力 地 促进 了 各个 环节 的 公正 执法 。
福州市 检察院 提起 公诉 的 刘 秀 琴 故意 杀人 案 ， 被告人 在 行 窃 过程 中 被 发现 而 杀人 灭 口 。 市 法院 一审 以 被告人 认罪 态度 好 ， 有 悔 罪 表现 为由 判处 死刑 缓期 二 年 执行 。 福州 检察院 认为 被告人 犯罪 手段 残忍 ， 情节 恶劣 ， 社会 危害性 极大 ， 依法 提起 抗诉 。 福建省 法院 采纳 了 检察 机关 的 抗诉 意见 ， 改判 被告人 死刑 立即 执行 。 恶 徒 伏法 ， 大 快 人心 。
1 9 9 9 年 ， 一 件 持枪 杀人 案 在 检察 机关 的 监督 下 ， 由 劳教 改判 为 4 人 被 判 死刑 ， 在 当地 引起 极大 反响 ： 1 9 9 7 年 ， 福 清 市 发生 了 陈 维 华 等 1 0 人 持枪 杀人 案 ， 由于 犯罪 嫌疑人 未能 全部 归案 等 种种 原因 ， 被 公安 机关 作 劳教 处理 ， 受害者 家属 愤愤 不平 。 福 清 检察院 对此 案 进行 立案 监督 ， 克服 种种 困难 。 1 9 9 9 年 ， 法院 判处 陈 维 华 等 4 人 死刑 ， 5 人 无期徒刑 ， 1 人 有期徒刑 1 5 年 ， 维护 了 法律 的 公正 和 威严 。
1 9 9 9 年 以来 ， 福建省 各级 检察 机关 要求 公安 机关 说明 不 立案 理由 4 8 0 件 ， 对 认为 确 有 错误 的 刑事 、 民事 、 行政 判决 、 裁定 提出 抗诉 共有 3 0 0 多 件 ， 对 不 按 规定 交付 执行 、 超期 羁押 等 提出 纠正 意见 近 3 5 0 0 人次 。 在 群众 中 树立 了 检察 机关 的 良好 形象 。
提高 执法 水平 是 重点
提高 公正 执法 水平 ， 是 福建省 各级 检察 机关 “ 素质 工程 ” 的 另 一个 重要 方面 。
随着 经济 的 飞速 发展 ， 贪污 贿赂 等 经济 领域 的 犯罪 越来越 多 ， 手段 也 越来越 隐蔽 ， 成为 检察 机关 工作 的 难点 ， 也 正是 人民 群众 衡量 检察 机关 能否 公正 执法 的 准 星 。 针对 这种 情况 ， 福建省 各级 检察 机关 一方面 致力 于 检察 人员 文化 水平 的 提高 ， 另一方面 ， 大力 加强 岗位 练兵 ， 提高 综合 执法 水平 ， 探索 新 形势 下 检察 工作 的 新 路子 ， 取得 了 明显 成效 。 去年 前 9 个 月 ， 福建 全省 检察 机关 共 立案 贿赂案 4 0 3 件 ， 占 立案 总数 的 4 0 ％ ， 起诉 到 法院 后 ， 均 作 有 罪 判决 。
泉州 市 鲤 城区 检察院 以 善 挖 “ 蛀虫 ” 而 享有 美誉 ， 每年 都 要 突破 几 个 “ 轰动 ” 的 贪污 贿赂案 。 1 9 9 9 年 ， 他们 在 查办 泉州 市 某 公司 正 、 副 经理 涉嫌 私分 国有 资产 3 0 万 元 的 案件 中 ， 敏锐 捕捉 线索 ， 又 一举 侦破 了 该 公司 出纳 贪污 公款 一 案 ， 同时 还 查清 会计 内外 勾结 伪造 假 手续 骗取 4 0 多 套 商品房 的 重大 犯罪 事实 ， 为 国家 挽回 经济 损失 5 9 0 多 万 元 。 该院 检察长 林 玉 城 的 论文 《 贿赂 犯罪 的 侦查 对策 》 、 《 国营 企业 亏损 的 原因 与 对策 》 等 多 篇 论文 在 国家级 刊物 上 发表 ， 几乎 成为 研究 贪污 贿赂案 的 专家 。
以 制度 促 提高
记者 在 福州市 马 尾 区 检察院 采访 ， 发现 这里 有 一 项 十分 特别 的 “ 案件 说情 事项 汇报 制度 ” 。 原来 ， 在 办案 中 ， 检察 人员 经常 遇到 亲朋好友 、 领导 同事 说情 的 情况 ， 极大 地 影响 了 办案 人员 的 执法 公正 。 为此 ， 该院 规定 ， 无论 是 办案 人员 还是 院内 领导 ， 遇到 说情 的 应当 及时 向 纪检 部门 或 检察长 汇报 ， 隐瞒 不 报 的 以 违纪 论处 。 此 招 一 出 ， 说情 闻 风 而 止 ， 大大 地 减少 了 办案 的 干扰 因素 。
以 健全 的 制度 和 铁 的 纪律 严格 规范 执法 是 确保 各项 执法 工作 依法 、 有序 进行 的 重要 途径 。 事实上 ， 记者 每 到 一 处 都 能 发现 一些 颇 有 特色 的 制度 。 面对 高 智能化 犯罪 的 挑战 ， 福州市 检察院 把 “ 素质 教育 ” 量化 为 “ 千 分 制 ” 考核 办法 ， 并 将 考核 结果 作为 干警 晋级 晋 职 的 主要 依据 ， 极大 调动 了 干警 的 积极性 。 为 保证 举报人 的 合法 权益 ， 去年 漳平市 检察院 为 举报人 设立 保险 制度 ， 使 群众 举报 数量 和 署名 举报 率 比 去年 同期 上升 近 三 成 。 仅 福 清 市 检察院 就 相继 出台 了 办案 纪律 、 错案 追究 、 举报 线索 管理 、 赃款 赃物 管理 等 6 1 项 规章制度 。
福建省 检察院 有关 负责人 告诉 我们 ， 随着 公正 执法 水平 的 不断 提高 ， 检察 机关 内部 制约 机制 、 检 务 管理 模式 、 “ 检 务 公开 制度 ” 和 执法 纪律 监督 制度 也 不断 完善 ， 而 这些 制度 的 完善 反过来 又 促进 了 检察 人员 执法 水平 的 进一步 提高 。
让 百姓 信 得 过 ――― 贵州省 检察 机关 队伍 建设 记事
“ 让 人民 满意 没有 任何 捷径 可 走 ， 取信于民 决不 能 掺 半点 水分 ，谁 想 坐等 观望 ，谁 想 侥幸 过关 ，谁 就 会 被 淘汰 出局 ！ ” 几 年 来 ， 贵州省 检察 机关 凭着 这种 精神 狠抓 严 管 ， 在 队伍 建设 方面 迈出 了 坚实 的 步伐 。
遵义市 红花 岗区 检察院 曾 是 一个 群众 意见 较 大 的 单位 。 换 回信 任 ， 赢得 民心 。 检察长 袁 成武 上任 后 决心 从 一点一滴 抓起 ， 彻底 扭转 被动 局面 。 该院 抓 办案 纪律 尤为 严格 ： 不 该 你 问 的 事 决不 能 问 ， 不 该 你 管 的 事 决不 能 管 ， 否则 ， 你 就 当心 “ 饭碗 ” 。 该院 起诉科 一 名 干警 受 人 之 托 下班 前 到 反贪 局 向 承办 人 打听 案情 ， 并 随手 翻 看 桌上 的 案件 材料 。 院 领导 发现 后 ， 对 这 位 干警 作出 停职 检查 并 下岗 的 处理 决定 。
1 9 9 8 年 ， 该院 被 最高 人民 检察院 荣 记 集体 一等功 。 近年来 ， 连续 三年 工作 考评 全市 第一 ， 基层 院 建设 工作 也 走 在 全省 前列 ， 成为 贵州省 检察 系统 的 一面 旗帜 。
监督 别人 ， 首先 要 监督 好 自己 。 人民 群众 评价 检察 工作 ， 不光 是 看 你 办 了 多少 案子 ， 更 主要 的 是 看 你 自己 是否 行 得 正 ， 站 得 稳 。 安顺 市 西 秀 区 检察院 去年 以来 立 查 了 8 起 职务 犯罪 案 ， 涉及 科 局级 干部 1 3 人 。 其中 有 一 位 开发区 管委会 主任 ， 是 该院 一 名 女 干警 的 家属 。 这 位 主任 负责 基金会 工作 ， 因 滥用 职权 损失 贷款 8 0 多 万 元 。 院 领导 做 通 了 这 名 女 干警 的 思想 工作 ， 这 名 女 干警 积极 配合 办案 人员 ， 顶住 各方 压力 查清 了 案件 。
天津市 首 届 检察官 艺术节 音乐会 日前 举行 （ 图片 ）
天津市 首 届 检察官 艺术节 音乐会 日前 举行 。 图 为 天津市 检察官 大合唱 《 检察官 之 歌 》 。 （ 新华社 记者 李 昌元 摄 ） [root@cdh1 scripts]# ll
total 460
-rwxr-xr-x 1 root root   3543 Aug 10  2005 mwseg.pl
-rw-r--r-- 1 root root 453456 Jul 15 22:08 pku_test_seg.txt
-rwxr-xr-x 1 root root   7228 Aug 15  2005 score
[root@cdh1 scripts]# ./score ../gold/pku_training_words.txt ../gold/pku_test_gold.txt pku_test_seg.txt > score.txt
[root@cdh1 scripts]# ll
total 2736
-rwxr-xr-x 1 root root    3543 Aug 10  2005 mwseg.pl
-rw-r--r-- 1 root root  453456 Jul 15 22:08 pku_test_seg.txt
-rwxr-xr-x 1 root root    7228 Aug 15  2005 score
-rw-r--r-- 1 root root 2323550 Jul 15 22:10 score.txt
[root@cdh1 scripts]# tail -100 score.txt 艺术节音乐会音乐会日前                               日前
举行举行（                                （
图片                              图片
）                                ）
INSERTIONS: 0
DELETIONS:  0
SUBSTITUTIONS:  0
NCHANGE:    0
NTRUTH: 11
NTEST:  11
TRUE WORDS RECALL:  1.000
TEST WORDS PRECISION:   1.000
--../gold/pku_test_gold.txt-------pku_test_seg.txt----1944
天津市天津市首首届届检察官检察官艺术节艺术节音乐会音乐会日前                              日前
举行举行。                               。
图                               图
为                               为
天津市天津市检察官检察官大合唱                             大合唱
《                               《
检察官检察官之                             之
歌歌》                             》
。                               。
（                                （
新华社新华社记者记者李李昌元                              昌元
摄摄）                              ）
INSERTIONS: 0
DELETIONS:  0
SUBSTITUTIONS:  0
NCHANGE:    0
NTRUTH: 27
NTEST:  27
TRUE WORDS RECALL:  1.000
TEST WORDS PRECISION:   1.000
=== SUMMARY:
=== TOTAL INSERTIONS:    9274
=== TOTAL DELETIONS: 1365
=== TOTAL SUBSTITUTIONS: 8377
=== TOTAL NCHANGE:   19016
=== TOTAL TRUE WORD COUNT:   104372
=== TOTAL TEST WORD COUNT:   112281
=== TOTAL TRUE WORDS RECALL: 0.969
=== TOTAL TEST WORDS PRECISION:  0.843
=== F MEASURE:   0.902
=== OOV Rate:    0.058
=== OOV Recall Rate: 0.671
=== IV Recall Rate:  0.987
### pku_test_seg.txt    9274    1365    8377    19016   104372  112281  0.969   0.843   0.902   0.058   0.671   0.987
[root@cdh1 scripts]#

隐含马尔可夫模型HMM的中文分词器入门-1相关推荐

转：从头开始编写基于隐含马尔可夫模型HMM的中文分词器
http://blog.csdn.net/guixunlong/article/details/8925990 从头开始编写基于隐含马尔可夫模型HMM的中文分词器之一 - 资源篇首先感谢52nlp的 ...
从头开始编写基于隐含马尔可夫模型HMM的中文分词器之一 - 资源篇
首先感谢52nlp的系列博文(http://www.52nlp.cn/),提供了自然语言处理的系列学习文章,让我学习到了如何实现一个基于隐含马尔可夫模型HMM的中文分词器. 在编写一个中文分词器前,第 ...
隐含马尔可夫模型——Hidden Markov models (HMM)
本文首发于算法社区 dspstack.com,转载请注明出处,谢谢. 写在前面# 统计学是个好东东,说它是个好东东,因为统计学不像其他有些学科,它不仅在科研领域应用广泛,在平常的生活中我们也会经常碰 ...
HMM模型——隐含马尔科夫模型【详细分析+图】
HMM(隐马尔可夫模型) 含义 HMM(Hidden Markov Model), 中文称作隐含马尔科夫模型, 因俄国数学家马尔可夫而得名. 它一般以文本序列数据为输入, 以该序列对应的隐含序列为输出 ...
viterbi维特比算法和隐马尔可夫模型(HMM)
阅读目录隐马尔可夫模型(HMM) 回到目录隐马尔可夫模型(HMM) 原文地址:http://www.cnblogs.com/jacklu/p/7753471.html 本文结合了王晓刚老师的ENG ...
隐马尔科夫模型HMM自学（3）
Viterbi Algorithm 本来想明天再把后面的部分写好,可是睡觉今天是节日呢?一时情不自禁就有打开电脑.......... 找到可能性最大的隐含状态序列崔晓源翻译多数情况下,我们都希望 ...
隐马尔科夫模型HMM自学（1）
介绍崔晓源翻译我们通常都习惯寻找一个事物在一段时间里的变化规律.在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等.一个最适用的例子就是天气的预测. 首 ...
隐马尔可夫模型HMM学习备忘
隐马尔可夫模型HMM学习备忘目录隐马尔可夫模型HMM学习备忘 1.马尔可夫模型的理解 2.隐马尔可夫模型 2.1.HHM的组成 2.2.HMM解决的三个基本问题隐马尔可夫模型示意图如图[1]: ...
北京大学生物信息学学习(6)隐含马尔可夫模型
北京大学生物信息学学习(6)隐含马尔可夫模型马尔可夫链(时间和状态都离散的状态组合) https://www.bilibili.com/video/BV13t411G7oh?p=14 隐含马尔可夫模 ...

隐含马尔可夫模型HMM的中文分词器入门-1

隐含马尔可夫模型HMM的中文分词器入门-1相关推荐

最新文章

热门文章

隐含马尔可夫模型HMM的中文分词器 入门-1

隐含马尔可夫模型HMM的中文分词器 入门-1相关推荐

最新文章

热门文章

隐含马尔可夫模型HMM的中文分词器入门-1

隐含马尔可夫模型HMM的中文分词器入门-1相关推荐