成为0.01%！利用TensorFlow.js和深度学习，轻松阅读古草体文字

大数据文摘出品

编译：李欣月、刘俊寰

古文字识别能力是从事历史研究的学者的必备技能，对于日本的历史研究学者而言，他们的挑战则来自于“古草体”文字，这种文字是古日本使用频率最高的文字之一，也将是他们科研道路上遇到的第一道关卡。

20世纪之后现代日语逐渐普及，“古草体”因不便在现代印刷体系里使用，逐渐被人们遗忘，导致现在即使保存有数万份古草体书写的书籍，能够阅读的人也是寥寥。但是对于现代的研究者们而言，就算只阅读一篇古文资料，也必然会和“古草体”文字“大眼瞪小眼”——遇到“语言障碍”。

“古草体”与现代日文

因此，阅读“古草体”文字的能力就显得格外重要，而目前能够无障碍阅读“古草体”文字的人只占了日本全国人数的0.01%，这对日本的历史研究相当不利。

但也不要太过担心！最近，在谷歌东京事务所的发布会上，就有这么一个神器亮相，它能帮助你快速识别“古草体”文字，阅读“古草体”书籍也完全不在话下！

数据化处理远远不够，能阅读才是根本

在本次主题为“Solve....with AI”的太平洋地区记者发布会上，身为人文开放数据联合使用中心与国家信息学研究所研究员的塔琳・卡拉梅特女士展示了能够将古日本常用的“古草体”翻译（正确的说法应该是“翻刻”）为现代文字的OCR（KuroNet），并说明了该系统是如何识别“古草体”的。

塔琳女士手拿“古草体”文本。本次项目由信息与系统研究机构和数据科学研究（ROIS-DS）、人文开放数据联合使用中心合作完成。

声明：本项AI的开发使用了谷歌技术，可能会让大家误以为是谷歌开发的，实际不然，在此指出并订正。另外，准确地说，项目的操作内容不是“翻译”而是“翻刻”。特此声明。

将明治时代的“古草体”转换为现代日语

塔琳女士还介绍了进行本次项目的原因：“东京神保町的二手书店里面有数千本古籍在售卖，很容易就能买到。这些文本可能会在海啸或者地震时受损，所以我们对其进行数据化处理，但是数据化之后如果无法阅读也毫无意义，因此就有了利用AI来解决这个问题的念头。”

东京神保町的二手书店里有数千本古籍在售卖

AI不能解读的地方被做了标记

声明：虽然该项目是“谷歌协作开发”，但是谷歌只是本次活动的主办方，没有协助此次项目开发。特此声明。

利用深度学习和TensorFlow.js，开发名为“KuroNet”的工具

根据塔琳女士的介绍，同先生和团队制作了这个名为“KuroNet”的人工神经网络模型。该系统利用深度学习（U-Net）来学习国家文献研究博物馆所拥有的“古草体”的数据，然后将“古草体”翻刻为现代日语。

名为KuroNet的“古草体”OCR，以及将它应用于TensorFlow.js进行特征识别

声明：开始时用的是“国立信息学研究所拥有的数据”，但正确的应该是“国家文献研究博物馆所拥有的数据”。特此声明。

另外此次是利用谷歌提供的TensorFlow.js（在Web浏览器上面就能实行的机器学习库）在Web上面进行逐字识别。

把KuroNet类比为谷歌翻译更容易理解。谷歌翻译APP有一个功能是把图片里OCR识别到的文字转换为其他语言，KuroNet与此类似，把古文本的照片进行OCR识别，转换为现代日语，一页只需2秒，非常迅速，翻刻一本“古草体”书籍大概需要1个小时。

KuroNet2秒就“翻译”完一页

“翻译”一本古文需要一个小时，正确率为85%

这样进行“翻译”的话正确率为85%。塔琳女士说到，“在‘翻译’16本书籍的基础上得出85%这个数据，将来随着数据量增多，学习能力增强，正确性还会提高。”

另外，在TensorFlow.js提供的Web程序上，能够在线上对“古草体”文字逐字识别。这个工具的开放源码是对公众开放的，今后民间研究者可以利用这个工具阅读“古草体”文字的书籍。阅读“古草体”文字书籍的人增多了，就能推进日本历史的研究进程。

TensorFlow.js提供的Web程序

开放源码提供

在Kaggle上举办比赛募集提高OCR识别率的方法

根据塔琳女士的介绍，信息与系统研究机构和数据科学研究（ROIS-DS）、人文开放数据联合使用中心、国立情报学研究所（NII）、人类文化研究机构、国家文献研究博物馆等主办的名为“识别古草体——揭开日本千年之前的面纱”的比赛正在Kaggle上举行，比赛的目的是为在全球范围内募集提高OCR识别率的方法。

参赛链接：

https://www.nii.ac.jp/news/release/2019/0710.html

Kaggle上举行的比赛

比赛从7月中旬开始，到10月截止，目前已有129支队伍报名参与。预计11月11日在东京召开的研讨会“日本文化和AI”上将给第一名颁奖，获奖者还将获得奖金$15000。

成为0.01%！利用TensorFlow.js和深度学习，轻松阅读古草体文字相关推荐

tensorflow sigmoid 如何计算训练数据的正确率_“来自蒙娜丽莎的凝视”— 结合 TensorFlow.js 和深度学习实现...
客座博文 / Emily Xie,软件工程师背景坊间传闻,当您在房间里走动时,蒙娜丽莎的眼睛会一直盯着您. 这就是所谓的"蒙娜丽莎效应".兴趣使然,我最近就编写了一个可互动的数 ...
ubuntu16.04+七彩虹GTX1060的NVIDIA驱动+Cuda8.0+cudnn5.1+tensorflow+keras搭建深度学习环境【学习笔记】【原创】
平台信息: PC:ubuntu16.04.i5.七彩虹GTX1060显卡作者:庄泽彬(欢迎转载,请注明作者) 说明:参考了网上的一堆的资料搭建了深度学习的开发环境,下班在宿舍折腾了好几个晚上才搞定, ...
利用tensorflow.js在线实现图像要素识别提取
什么是Tensorflow.js? TensorFlow.js是一个开源的基于硬件加速的JavaScript库,用于训练和部署机器学习模型.谷歌推出的第一个基于TensorFlow的前端深度学习框架T ...
使用Colab训练NN模型并利用Tensorflow.js部署网页应用
首先附上原文链接:如何利用TensorFlow.js部署简单的AI版「你画我猜」图像识别应用本文创建了一个简单的工具来识别手绘图像,并且输出当前图像的名称.该应用无需安装任何额外的插件,可直接在浏览 ...
06.图像识别与卷积神经网络------《Tensorflow实战Google深度学习框架》笔记
一.图像识别问题简介及经典数据集图像识别问题希望借助计算机程序来处理.分析和理解图片中的内容,使得计算机可以从图片中自动识别各种不同模式的目标和对象.图像识别问题作为人工智能的一个重要领域,在最近几 ...
TensorFlow 1.x 深度学习秘籍：1~5
原文:TensorFlow 1.x Deep Learning Cookbook 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译后编辑(MTP ...
（转）Tensorflow 实战Google深度学习框架读书笔记
本文大致脉络: 读书笔记的自我说明对读书笔记的摘要具体章节的摘要: 第一章深度学习简介第二章 TensorFlow环境搭建第三章 TensorFlow入门第四章深层神经网络第五章 MN ...
如何在TensorFlow中通过深度学习构建年龄和性别的多任务预测器
by Cole Murray 通过科尔·默里(Cole Murray) In my last tutorial, you learned about how to combine a convolut ...
ElasticDL：首个基于 TensorFlow 实现弹性深度学习的开源系统
9 月 11 日,蚂蚁金服开源了 ElasticDL 项目,据悉这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统. Google Brain 成员 Martin Wicke 此前在公 ...
在Tensorflow中使用深度学习构建图像标题生成器
by Cole Murray 通过科尔·默里(Cole Murray) 在Tensorflow中使用深度学习构建图像标题生成器 (Building an image caption generator ...

成为0.01%！利用TensorFlow.js和深度学习，轻松阅读古草体文字

成为0.01%！利用TensorFlow.js和深度学习，轻松阅读古草体文字相关推荐

最新文章

热门文章