报告

我们基于深度学习的自动标点引擎，在合作团队的帮助下实现于2018年，论文已在今年发表。当时使用循环神经网络(RNN)中的双向长短时记忆(Bi-LSTM)作为特征提取器。这几年来，注意力机制开始取代RNN，发展为自然语言处理任务特征提取器的主流。最近，另一家合作团队刚刚完成了一种采用transformer架构的新引擎，使用的训练数据在之前的基础上又加入了四库全书，标点能力又获得进一步提升，据称比旧引擎提高了10%的准确率。

我从律学文献《简正记·集僧篇》中选取一些段落，将新旧标点引擎的标点结果进行对比，让我对新引擎的进步留下了深刻印象。以下是两者的对比结果。

第

1

例

-THE FIRST-

旧引擎明显出错的地方有三处：

①“云集至二者”后面没有逗号；

②③“法体行相”被断开，同时后面没有未接句号，“法体行相”是戒法、戒体、戒行、戒相的简称。

新引擎明显出错的地方有二处：

①“二、释”后面没有句号；

②“云集至二者”被句号断开，“云‘某’至‘某’者”，是注疏中的特定句式，用来标记被注疏内容在原文中的位置。

此外还有一处小问题：

① 段落最后没有句号，这是新引擎常常出现的问题，无害于文义理解。

旧引擎

VS

新引擎

新引擎X 1

W I N

第

2

例

-THE SECOUND-

旧引擎的明显错误有四处：

①“今云众字有滥”后面缺少逗号；

②“如三人亦名众”被断开；

③④“是存略梵”被断开，同时与后文连在一起没有断开。

此外还有两处小问题：

①“若云四人辨说戒等云名和合者”之间被断开，此处不断开为宜；

②“是以钞文直言僧者以和合为义”，不宜断开。当然，这些地方断开也并非大错。

新引擎没有明显错误，有两处小问题：

① 开头处“僧者以和为义者”和 ②“是以钞文直言僧者以和合为义”都不宜断开。

旧引擎

VS

新引擎

新引擎X 2

W I N

第

3

例

-THE THIRD-

旧引擎的明显错误有四处：

①②“此是提舍尼戒中比丘在兰若处逆食女人也”被句号和逗号断开两次，“比丘在兰若处逆食女人”是戒条的完整名称，不应该断开；

③④“动物之名皷”被逗号断开，并且与后文没有断开。一处小问题是“引此文亦为证前比丘得作”也“被逗号断开了。

新引擎的明显错误有一处：

① “彼云”后面未接冒号。

旧引擎

VS

新引擎

新引擎X 3

W I N

第

4

例

-THE FOURTH-

旧引擎的明显错误有八处：

① “裙坐埀足”后面没有逗号，其中“裙”应是“裾”(通“踞”)字之误，“埀”即“垂”；②“踏着地不得悬”后面没有逗号；

③“亦如此土绳床上坐”被逗号断开；

④“垂脚平踏地”被逗号断开；

⑤⑥“面前一土埵”被逗号断开，且后面未接逗号；

⑦⑧“号为食按”被逗号断开，且后面未接逗号，“按”通“案”。

一处小问题是：

①“无人看苦酒中虫”后面应是逗号。

新引擎的明显错误有两处：

①“亦如此土绳床上坐”后面未接逗号；

②“垂脚平踏地”被逗号断开。

小问题一处：

① 段末没有句号。

旧引擎

VS

新引擎

新引擎X 4

W I N

第

5

例

-THE FIFTH-

旧引擎的明显错误有九处：

① “二、因明”后面未接逗号；

②“因谓立论者言”被逗号断开，“因”指的是“因明”的第一个字；

③④“明谓敌论者智”被逗号断开，而且后面未接逗号，“明”指的是“因明”的第二个字；

⑤“三声明”中间未用顿号，不统一；

⑥⑦“四医方明”中间未用顿号，后面未接逗号；

⑧“五、工巧明”后面未接逗号；

⑨“善闲一切工巧好艺等”被逗号断开，“闲”通“娴”，意为熟练。

新引擎没有明显错误。

旧引擎

VS

新引擎

新引擎X 5

W I N

尽管新引擎在标点方面完胜了旧引擎，不过仍然存在一些小问题，除了那个段末没有句号的bug，还有标点字数不能超过200字，而且时不时会从标点模式变成断句模式，也就是只输出句号而不输出其他标点。这里举两个断句模型的例子。

第

6

例

-THE SIXTH-

旧引擎的明显标点错误有六处：

①“即作相等七种”后面未接逗号或分号，指的是七种集僧的方法。此处容易理解为“七种僧是所集”，律学中也确实有七种僧的说法，但是从前后两句的对称性考虑，“集谓能集”与“僧是所集”对仗，“即作相等七种”与“即尽界而聚等”对仗，所以“七种僧是所集”的理解并不合理。

②“第一义谛僧”被逗号断开；

③“缁素不同”后面缺少逗号；

④“后篇方简”后面未接句号；

⑤⑥“五中但集后二”被句号断开，而且后面错用了顿号，“后二”指的是前面五种僧众的后两种，即清净僧和第一义僧。

新引擎的断句有两处明显错误：

①②“即作相等七种”被句号断开，而且后面未接逗号或分号。

第

7

例

-THE SEVENTH-

旧引擎的明显标点错误有十二处：

①②“可分别尼聚落集是通”被逗号断开，后面未用逗号；

③“五里集是通”后面未用逗号；

④“此约自然辨通局也”被逗号断开；

⑤⑥“有戒场大界四处集是灭”被逗号断开，后面未用逗号，其中“灭”应是“通”之误，“有戒场大界”是律学专用词汇；

⑦⑧“无戒场大界二处集是局” 被逗号断开，后面未用逗号，其中“无戒场大界”是律学专用词汇；

⑨“三小界不立相”被逗号断开，“三小界”意为三种小界，是律学专用词汇；

⑩“并是灭”后面未用逗号，“灭”应是“通”之误；

⑪“分齐外不要来”被逗号断开，“分齐”是“边界”的意思；

⑫“并无别众过为局”被逗号断开，其中“别众”是律学专用词汇，“别众过”的意思是别众的过失。

小问题有两处：

①“兰若无难五里集是通”被逗号断开；

②“有难七盘陀量集为局”被逗号断开，其中“有难”是“有难兰若”的简称。这两个句子中间如果用了逗号，那么其前后应该使用分号，与其他句子分隔。如果不改变句子之间的逗号，那么这两句内部便不宜再用逗号。

新引擎的明显断句错误有两处：

①“宝云”后面未接句号；

②“并是灭”后面未接句号。

新引擎的断句模式在准确率上仍然占据优势。由于断句模式只输出一种标点，其出错概率理论上应该低于标点模式。目前尚无法有效控制断句模式和标点模式之间的切换。

新引擎最令人印象深刻的地方，一是它对专用词汇的识别。例如，第五段中关于五明的几个专用名词，都被其准确识别出来，再如第七段中很多律学专用词汇，新引擎都没有错误的断开。反之，旧引擎则屡屡犯错。二是新引擎对句子结构的捕捉，能够恰到好处的找到句子之间的分界处。例如，第三段的句子“此是提舍尼戒中比丘在兰若处逆食女人也”和“动物之名皷”，这几处旧引擎都出错了。再如第四段中的“号为食按”，旧引擎明显将“按”当成动词，故与前文断开而与后文连接。以上问题在新引擎中都没有出现。

从新引擎的进步速度来看，自动标点彻底攻克古籍标点已经指日可待。为古籍点标点这类以往只有专业人士才能胜任的工作饭碗，看来也要被人工智能抢走了。

1. Shi, Xianchao, et al. "一种自动标点的方法与实现." 数位典藏与数位人文 3 (2019): 1-19.

2.《简正记》是对唐代道宣律师《四分律删繁补阙行事钞》的注疏。