技术在诞生、研发到应用各阶段目标和工作方式有所不同。在中科院计算所副研究员、博导罗平教授看来,学术研究是在茫茫林海中有目的地寻找,有时候一无所获,有时候能在千万次试错后发现一整片绿洲。但也仅止步于此,如何挖掘风景的商业价值和掩藏的宝藏则由产业界接手。相较而言,实际应用可能会耗费更多的人力和工程量。“若划分个百分比,前期研究是20%,应用是80%。”

罗平教授的主要研究领域是机器学习与数据挖掘,以及大数据下的实际新型应用。除了这重学术身份外,他还曾就职于惠普研究院研究员,现在是微信人工智能首席科学顾问。 此外,在近期由中国计算机学会(CCF)主办,雷锋网和香港中文大学(深圳)承办的第二届CCF-GAIR全球人工智能与机器人峰会上,罗平教授为观众分享了一项他目前的研究项目——庖丁解文,即用AI来撰写和复核投行金融文档,已经对外开放使用。

他对雷锋网表示,

“我的研究思路是扎根某一领域,比如金融,并探索一些实际问题,再从实际问题出发抽象出研究点。实际问题可能只是一个‘点’,抽象出来后形成多个不同的点。”

罗平教授举了一个实例,在 Data Mining 领域有一个问题叫 Lock Step Behavior Mining,就是“挖掘同步行为”。之前他们与上交所的一个合作项目,就是通过所有用户交易数据来监控一种典型的市场违规行为——老鼠仓。具体指庄家在用公有资金拉升股价之前,先用自己个人(机构负责人,操盘手及其亲属,关系户)的资金在低位建仓,待用公有资金拉升到高位后个人仓位率先卖出获利。

“如果两个账户中,一个大的基金账户和小散户经常在相近时间买卖同一只股票,那么就是一种异常信号。这是可以通过大数据挖掘出来的。然后,我们开始思考能否将这研究拓展到其他场景。后来我们发现这可以应用到,比如清理社交平台上的僵尸粉,或者识别豆瓣电影的水军。因为僵尸粉和水军之间存在大量的同步行为”

掘金产业界

基于这样的研究思路,罗平教授开始关注产业界的应用。他正在挖掘的“金矿”有二,一是庖丁解文,二是 Chatbot 平台。

庖丁解文——自动结构化金融文档

金融场景中存在大量的非结构化文本数据,大多数金融从业者都是在做繁重重复且低技术含量的文档撰写和核查工作,而且目前很多是纯手工作业,难免出现低级错误。这些错误将可能带来很高的风险,导致金融机构面临声誉和经济损失,甚至承担诉讼的连带责任。例如高盛曾于2011年因为四只认股权证定价算式出错,从而赔偿4500万美元;去年,邮储银行公告出现乌龙,称邮政银行负债8亿亿等。

针对这些痛点,罗平教授团队希望用技术和机器来帮助他们。

“我们现在所做的事是,对金融文档进行自动结构化,干净利落得获得金融文档中的语义信息。古有庖丁解牛,我们这是庖丁解文。”

产品名为AutoDoc,现在支持金融文档中数据勾稽关系的复核和笔误修改,后续会逐步增加自动撰写、智能分析功能。

罗平教授简单地描述了一番应用流程,“使用起来很简单,用户只需上传需要复核的金融文档,经过自动解析和比对,机器会自动标注出数据不一致的地方。”

如上图所示,根据文档中的表格数据,机器可自动计算出“2016年主营收入较2015年下降的比例”应该为“12.43%”,但文字中的显示为“11.29%”。

“其实,投行和律所的工作人员长时间的都在干这些数字复核的事情。然而,这些文档通常都是好几百页,复核的过程很“反人性”。现在,这些工作都可以交给AI自动完成了。”

那么背后的核心技术是什么?罗平教授告诉雷锋网(公众号:雷锋网),复核就是复核文章各种数字之间的勾稽关系。背后涉及到从非结构化的文档中自动提取出对应语义的元组和公式。

据介绍,他们研发的深度结构化技术包含两个层面:

  • 第一个层面是 Text2Tuple,从文本到元组。元组是时间、财务指标、值的三元组,比如说:2013、2014、2015年第一大客户的营业额分别是多少钱,需要提取出来。

  • 第二个层面是 Text2Equ。他们需要把文本中的比例数字,如60%、58%、55%,解释为语义相同的计算公式;同时文中还提到“呈现逐渐下降的趋势”,所以也要提取出这个不等式的关系。

“我们研发的模型,输入非结构化或半结构化的文本,可输出可供计算机搜索、比对、分析的结构化的数据。这其实是自动构建知识图谱的核心技术。有了知识图谱,后续可以支撑很多应用。”

不过由于产品还处于早期阶段,为了方便用户使用,目前复核重点是数字,后期有关人名、事件表述也会增加;对于数据勾稽关系的确认还未涉及外部公开数据,仅是check上传文档的数字一致性。

虽然AutoDoc功能简单,但是表现不俗。据了解,他们对1000对个公开的债券募集说明书进行测试,发现有68.92%的文档存在数据不一致错误,每篇出错文档平均包含4.26个错误。后来在4月份将该功能发布在微信公众号 “债有主”上。截至七月,用户上传近1000份文档,其中98.4%的文档存在错误,每篇出错文档平均有6.5个错误。

"从非结构文档提出结构化的准确率,已过95%。"罗平教授说。

Chatbot——信息知识获取平台

罗平教授在微信的研究工作围绕自然语言处理微信公众号及展开。目前,公众号已成为人们获取信息和知识的一个重要平台。面对这些海量的非结构化文章和数据,他们思考如何提供是帮助用户搜索找到更精准的问题答案。

“现在的搜索只能给出一些大致的答案,我们希望对公众号文章做深入语义获取。这样,用户在微信中搜索一个具体问题时,比如如何修轮胎、做饭等,会呈现出图文并茂的指导。”

在今年6月CCF举办的学术报告会上,他将信息和知识获取平台划分为三种类型——“搜索引擎”、“问答系统”和“Bot平台”。这些平台,在交互方式、处理数据方式、数据拥有者在系统内的角色三方面都存在不同。前两类采用统一入口,索引关键词或完整问题,数据/知识拥有者参与程度不高;而Bot平台采用单独入口和自然语言交互技术,融合领域数据和模型,并不断迭代,数据拥有者纳入商业体系,有较强的精耕细作动力,能生产出高价值内容。

“就现阶段而言,精准搜索还未实现,我们还在持续研究中。”

“征信领域,数据为王”

随着AI技术的大热,一大批创业公司如雨后春笋般冒出来,如何在同质化竞争中占据高地?作为一位有着技术产品化实践的计算机学家,罗平教授表示,技术可能并非护城河,竞争的真正壁垒在于数据、用户、场景和先发优势。

“可能是因为我对于技术非常熟悉,从我的角度而言,一个公司的成功不是靠一项独一无二的技术,技术门槛并非那么高不可攀。”

此外,关于金融领域弱特征大数据,强特征小数据之争常有见报。对此,罗平教授认为,在征信场景中,由于强特征人群覆盖不全,面对日益旺盛的信贷需求,大数据自然有其用武之地。

“特别在征信领域,数据为王,算法靠后。”

同时他也指出,人群特征有一个关键概念——关联,关联是指很多事情偶然地同时出现,但开发者可能将它们也作为“有钱人”的特征挖掘出来,从而很可能导致风险发生。关联性并不等于因果关系,有因果关系的大数据才能真正起到作用。“正如一些真正赚钱的基金经理,在对金融市场的认知基础上,他们构建出一套可能只有一两个特征的逻辑,并能基于这些简单的逻辑闷声发大财

从微信AI首席顾问到金融文档智能相关推荐

  1. 从微信AI首席顾问到金融文档智能,一位中科院计算机科学家AI产品化实践

    从微信AI首席顾问到金融文档智能,一位中科院计算机科学家AI产品化实践 本文作者:伊莉 2017-08-14 10:18 导语:"我的研究思路是扎根某一领域,如金融,并探索一些实际问题,再从 ...

  2. 中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解救“金融民工” | CCF-GAIR 2017

    中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解救"金融民工" | CCF-GAIR 2017 本文作者:叨叨 2017-07-09 22:22 专题:GAIR 2017 ...

  3. 中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解

    中科院罗平演讲全文:自动撰写金融文档如何实现,用 AI 解救"金融民工" | CCF-GAIR 2017 本文作者:叨叨 2017-07-09 22:22 专题:GAIR 2017 ...

  4. 微软语音AI技术与微软听听文档小程序实践 | AI ProCon 2019

    演讲嘉宾 | 赵晟.张鹏 整理 | 伍杏玲 来源 | CSDN(ID:CSDNnews) [导语]9 月 7 日,在CSDN主办的「AI ProCon 2019」上,微软(亚洲)互联网工程院人工智能语 ...

  5. 微软语音 AI 技术与微软听听文档小程序实践 | AI ProCon 2019

    演讲者 | 赵晟.张鹏 整理 | 伍杏玲 出品 | CSDN(ID:CSDNnews) [CSDN 编者按]9 月 7 日,在CSDN主办的「AI ProCon 2019」上,微软(亚洲)互联网工程院 ...

  6. 基于OpenVINO与PP-Strucutre的文档智能分析 - 飞桨AI Studio

    ★★★ 本文源自AlStudio社区精品项目,[点击此处]查看更多精品内容 >>> 基于OpenVINO与PP-Strucutre的文档智能分析 本示例包含以下部分组成: 项目说明 ...

  7. 微信支付 自动退款 php,银联在线、微信、支付宝自动退款接口文档总结和API地址...

    关于微信和支付宝自动退款接口的接入总结 一:支付宝的自动退款接口接入 支付宝官方api:https://doc.open.alipay.com/doc2/apiDetail.htm?spm=a219a ...

  8. 绿灰配色的微信营销PPT模板-优页文档

    模板介绍 绿灰配色的微信营销PPT模板-优页文档.一套,企业管理,营销策划,幻灯片模板,内含绿色多种配色,风格设计,动态播放效果,精美实用. 希望下面这份精美的PPT模板能给你带来帮助,温馨提示:本资 ...

  9. 百度网盘AI大赛-图像处理挑战赛:文档检测优化赛 Baseline

    转自AI Studio,原文链接:百度网盘AI大赛-图像处理挑战赛:文档检测优化赛 Baseline - 飞桨AI Studio 百度网盘AI大赛-图像处理挑战赛:文档检测优化赛 使用Resnet15 ...

最新文章

  1. Hi3516a移植SDL+FreeType+SDL_ttf
  2. 遗传算法应用(实例详细演示最小生成树的prufer编码和Cayley定理)
  3. 《随笔记录》20170310
  4. 虚拟键码对照表与ASCII对照表的区别
  5. Linux系统分区和挂载浅谈
  6. struts2的DevMode(开发模式)模式
  7. java 更改css_CSS样式更改——文本Content
  8. coreldraw x8段落_CorelDRAW X8中文版从入门到精通
  9. 吴恩达新公司曝光:签下富士康,要用AI变革制造业
  10. css3参考手册在线和下载
  11. 华为RS1 企业的网络架构
  12. okhttp3+retrofit2+rxjava2使用
  13. LATEX Mathematical Symbols
  14. 优盘在计算机上无法显示,u盘在电脑上识别不出来怎么办_u盘在电脑不显示如何修复-win7之家...
  15. How to deploy a .Net assmebly for COM use through CAB on Web Page (转)
  16. mt管理器修改迷你世界服务器,mt管理器修改迷你世界游戏代码 | 手游网游页游攻略大全...
  17. 算法开启循环队列武魂
  18. 【计算机网络】一文搞懂IP及子网掩码相关问题
  19. 字幕翻译,如何合并和拆分过分断句
  20. 剩余电流动作继电器的应用探讨

热门文章

  1. java什么叫内部对象,java – 函数对象的内部类中的变量/对象会发生什么?
  2. 江苏信息考试access_2016年江苏省信息技术学业水平测试Access操作题
  3. android studio项目总结,android studio 3.0 升级 项目遇到的问题及更改思路(问题小结)...
  4. 元素对应到html源代码,【整理】用Chrome或Chromium查看百度首页中各元素的html源码...
  5. 中石油2018年秋季C语言 试卷答案,[石油华东]《数据采集系统》2018年秋季学期在线作业...
  6. 解决解码H264视频黑屏问题
  7. 计算机动画制作 实验要求,有关计算机动画设计课程教学的对比试验
  8. python生产脚本_生产级部署 Python 脚本,日志收集、崩溃自启,一键搞定
  9. nginx 超时时间_我眼中的 Nginx(四):是什么让你的 Nginx 服务退出这么慢?
  10. Leetcode 103. 二叉树的锯齿形层序遍历 (每日一题 20210924)