UIE多语言版

和蒸馏版发布

信息抽取是NLP领域的重要任务之一，想必各位有信息抽取业务的NLPer都使用过UIE（Universal Information Extraction，通用信息抽取）技术了。UIE多任务统一建模特性大幅降低了模型开发成本和部署机器成本，相较于传统的预训练-微调范式，UIE基于Prompt的零样本抽取和少样本迁移能力更是惊艳！例如，在金融领域的事件抽取任务上，仅仅标注5条样本，F1值就提升了25个点！

表1：UIE在中文信息抽取数据集上零样本和小样本效果

（F1-score）

UIE由中科院软件所和百度共同提出，在实体、关系、事件和情感分析等4个信息抽取任务，13个数据集的全监督、低资源和少样本设置下，UIE均取得了SOTA性能，这项成果发表在ACL 2022[1]。

今年5月，飞桨PaddleNLP结合文心大模型中的知识增强NLP大模型ERNIE 3.0[2]，发挥了UIE在中文任务上的强大潜力，并且在论文的基础上针对实际落地进行进一步优化，开源了首个面向通用信息抽取的产业级技术方案，一经发布，即被广泛使用。近日，PaddleNLP又带来UIE两大升级：

UIE两大升级点

• UIE多语言版本UIE-M,支持中英文混合抽取

• 蒸馏版UIE，提速100倍以上

UIE-M介绍

UIE-M基于百度自研的多语言预训练模型ERNIE-M。作为UIE系列的多语言版本，UIE-M模型不仅支持使用中文Prompt抽取中文和使用英文Prompt抽取英文，还支持中英文交叉抽取，例如，输入英文Prompt，能够同时抽取中文和英文文本中的关键信息（如下图），可以说非常酷炫了！仅需3行代码，调用PaddleNLP Taskflow API，即可快速使用：

>>> from pprint import pprint
>>> from paddlenlp import Taskflow
>>> schema = ['Time', 'Player', 'Competition', 'Score']
>>> ie = Taskflow('information_extraction', schema=schema, model="uie-m-base", schema_lang="en")
>>> pprint(ie(["2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！", "Rafael Nadal wins French Open Final!"]))
[{'Competition': [{'end': 23,'probability': 0.9373889907291257,'start': 6,'text': '北京冬奥会自由式滑雪女子大跳台决赛'}],'Player': [{'end': 31,'probability': 0.6981119555336441,'start': 28,'text': '谷爱凌'}],'Score': [{'end': 39,'probability': 0.9888507878270296,'start': 32,'text': '188.25分'}],'Time': [{'end': 6,'probability': 0.9784080036931151,'start': 0,'text': '2月8日上午'}]},
{'Competition': [{'end': 35,'probability': 0.9851549932171295,'start': 18,'text': 'French Open Final'}],'Player': [{'end': 12,'probability': 0.9379371275888104,'start': 0,'text': 'Rafael Nadal'}]}]

UIE-M后续可以扩展到96种语言的信息抽取，同时这种跨语言信息抽取能力有较好的模型迁移能力，支持高资源语言到低资源语言的信息抽取迁移学习。

UIE蒸馏版介绍

为了满足开发者在精度、性能方面的多样性需求，PaddleNLP开源了多种规模的UIE模型，如图：

图1：PaddleNLP中开源的UIE模型

以上模型能够满足大部分开发者的需求。针对某些对性能要求极高或硬件性能较差的场景，PaddleNLP又双叒叕开源了UIE蒸馏版，进一步提升训练和预测性能。

PaddleNLP基于数据蒸馏技术构建了UIE蒸馏版，其原理是通过数据作为桥梁，将开放域的UIE信息抽取能力，通过大量无监督数据迁移到封闭域信息抽取小模型中，同时在UIE蒸馏版中提出关系抽取SPO三元组、情感分析ASO三元组统一解码策略，统一了封闭域信息抽取模型结构，在精度损失较小的情况下，能达到100倍以上的预测速度提升！

对UIE技术细节感兴趣的朋友，可前往PaddleNLP中进行了解：

建议各位STAR收藏起来

https://github.com/PaddlePaddle/PaddleNLP

UIE在金融风控

业务中的应用

图2：UIE在各行业中的应用示例

如上图所示，UIE发布以来，已被广泛应用于金融、医疗、互联网等各行各业中。下面以金融领域——上市公司风险识别业务为例，介绍UIE的行业应用效果。

上市公司风险识别是金融市场参与者共同关心的议题。根据监管要求，企业定期或不定期地发布公告信息。作为公司信息披露的主要载体，公告信息可能包含事件描述、深度分析、信息传递等各种价值信息和重要风险信息。

针对证监会、银监会发布的监管处罚的公告，上市公司公告中对于证券价格影响较大的事件、媒体发布的关于损害公司声誉的负面言论等各类风险舆情，业务人员需要定时进行搜索、归集，然后撰写每日风险总结报告。人工进行公告信息抽取不仅工作量繁重，且准确率与覆盖率不足，难以满足日益增长的数据量以及快节奏的需求变动。目前，已有众多金融科技企业应用UIE技术，解决了这一难题。

图3：上市公司信息抽取效果直观展示

中国金融科技行业龙头企业金仕达基于UIE针对性地研发智能文档分析技术，将各类非结构化文档进行统一收集与分析，抽取重要事件、知识信息，信息抽取准确率达到95%，大幅降低业务人员信息录入与文件审核成本，支撑两类典型应用：

• 应用一：从微观（单篇）和宏观（多篇）层面分析、汇总、展示重要信息；

• 应用二：为上层的金融应用场景分析算法提供重要因子，大幅提高传统机器学习算法的效果。

图4：UIE在金融场景中的典型应用

课程预告

众多周知，在AI技术落地业务应用过程中，往往不单单涉及深度学习模型的调用，还包括与规则系统、传统机器学习算法的融合，这一现象在金融领域尤其明显。

为进一步加速金融科技行业人工智能融合创新与产业落地，百度飞桨联合百度智能云举办主题为“乘风而起，AI赋能智慧金融创新发展”的行业经验系列分享课程，包含4周系统课程，4大主流场景，10+代码全开源的实践范例，邀请行业内专家共同探讨科技金融的未来发展，分享产业实践。9月8日（本周四）将由金仕达AI实验室负责人、高级研究员——孙科，进行线上直播分享，名额有限，感兴趣的朋友可扫码预约课程：

金仕达作为资本市场专业化技术服务商，依托在监管科技领域丰富的业务积累和对场景的深度理解，运用飞桨深度学习平台，采用NLP（自然语言处理）、数据科学等技术构建金融智能信息处理引擎，支撑智能风控、合规审计、反洗钱、量化交易等核心业务。

图5：金融智能信息处理引擎

课程中，孙科老师将分享UIE技术的扎实实践，还将带来金融领域合规管理、风险管理、量化投研等业务的算法应用与产品落地宝贵经验分享：

• 需求理解不对称，客户说的真的是他想要的吗？

• 场景方案复用性差，只能做定制化解决方案吗？

• AI技术与客户需求间的鸿沟巨大，如何逾越？

• 金融领域机器学习、深度学习之谜？

更多内容，欢迎参加直播课了解

附：“乘风而起，AI赋能智慧金融创新发展”系列课程海报（如已在前文扫码入群，则报名成功，无需重复操作）

关键技术已在PaddleNLP中开源

欢迎STAR支持：

https://github.com/PaddlePaddle/PaddleNLP

参考

[1] Unified Structure Generation for Universal Information Extraction

[2]https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0

拓展阅读

四大"AI+金融"场景，10+真实产业范例，智慧金融行业实战课火爆开启

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~