3 预处理

2.2.2 （提高训练速度）2倍下采样

（为了提高训练的速度），我们遵循了原始论文的预处理，对图像进行了2倍下采样，

2.3 Label-Norm——基于语法树的标准化方法

基于Norm的预处理方法是由Image-to-Markup在论文中提出的，

在论文的GitHub-repo中，使用了python和js代码来完成预处理的功能，

我当时觉得很奇怪，为什么要用js的代码，后来想到，这是因为对于LaTeX的语法检查，

可能是基于js来实现的，所以会用到js代码，

这里我们跟随原始repo的实现来进行；

因为我们的OCR项目中的标注不会出现多义的现象，所以不需要进行标准化；

这里我们可以直接使用官方repo处理过的数据；

也可以follow原始repo的代码，进行预处理的复现；

2.3.1 下载原始论文预处理的数据

原始论文的数据地址：http://lstm.seas.harvard.edu/latex/data/

备注：data链接中的第三个链接“formula_images_processed.tar.gz”无法下载，所以用第七个链接（相同的文字）进行下载；

2.3.2 使用原始repo进行标准化（不推荐，比较复杂）

注意：原始repo是基于python-2.7的，所以需要基于python-2.7来运行；

1. 使用conda新建python-2.7的虚拟环境

（在运行的时候会发现没有PIL库，提示：

Traceback (most recent call last):
File "scripts/preprocessing/preprocess_filter.py", line 4, in <module>
import PIL
ImportError: No module named PIL

所以需要安装PIL库，但是PIL库似乎已经停止维护了，所以我们需要使用pillow库；

使用conda命令安装时会有问题，会把我们的python直接更新到最新的版本，所以不能使用conda命令进行安装，我们使用pip命令进行安装；

使用pip命令时，又提示：

Command 'pip' not found, but can be installed with:

sudo apt install python-pip

所以还需要先安装pip程序）

2. 安装pip程序：sudo apt install python-pip

3. 安装pillow库

4 评价指标——BLEU

论文中使用的评价指标是BLEU，需要注意的是，

原始论文的实现中，ngram = 4，

代码的截图如下：

数字公式识别的学习笔记（legacy）相关推荐

数字公式识别的学习笔记
1 前言我们准备使用基于attention的方法来实现数字公式识别的任务- 2 数据集--im2latex-100k 公式识别的数据集我们使用im2latex-100k: 数据集Offical链接: ...
数字设计FPGA应用学习笔记
转载https://blog.csdn.net/chinkwoyu/article/details/80259064 数字设计FPGA应用学习笔记数字设计FPGA应用学习笔记第一章 FPGA基础及 ...
概率密度变换公式雅可比矩阵_学习笔记之——Jacobian matrix（雅可比矩阵）
在<斯坦福大学公开课--机器人学>视频课程中一开始就提到了Jacobian matrix的重要性.为此写下本学习笔记介绍雅可比矩阵.本博客的内容来自于网络的各种资料的总结,已经给出参考引用 ...
ROS2的学习笔记(legacy)
1 基础概念 1.1 执行单元 1.1.1 executable--执行程序 executable是一个具有main函数的执行程序,它反应了针对某个目标的程序执行流程, 于是一个executable可 ...
前后对接数字几_开源数字货币交易所开发学习笔记（1）——系统架构
前言部门领导让我研究数字货币交易所的开发技术,今天好不容易把码云(Gitee)上开源数字货币交易所CoinExchange的代码编译成功并搭建出来了,在排查问题的过程中,不断的查看代码以及使用到的技 ...
OCR——PaddleOCR之文字识别的学习笔记
1 前言在南溪看来,PaddleOCR是现在开源的最厉害的OCR识别库~ 2 PaddleOCR中目前最强的英文&数字识别模型我们需要知道PaddleOCR中现在针对"英文&am ...
行人重识别综述学习笔记
文章目录 <行人重识别研究综述> 摘要: 1 行人重识别概述 1.1 背景与研究意义 1.2 研究现状 1.3 评价标准 2 基于图像的行人重识别研究(传统+深度) 2.1 特征表达方法 ...
达摩院视觉AI训练营-搭建身份证识别系统-学习笔记
搭建身份证识别系统目录一.成为开发者二.能力调试三.能力开通四.创建AccessKey 五.启动开发参考案例总结一.成为开发者请您使用阿里云账号登录阿里云视觉智能开放平台.如还未持有阿 ...
【人脸识别】人脸识别损失函数学习笔记
目录一.SphereFace:A-Softmax(CVPR2017) 1.1 传统的softmax Loss(第二章中有更详细的公式解释): 1.2 sphereface对softmax进行了两点改 ...

数字公式识别的学习笔记（legacy）