创建自己的Latex公式编辑器及AI自动识别
创建自己的Latex公式编辑器及AI自动识别
- 在线编辑器
- Flag
- 目标检测
- 基本思路
- 模型调用
- 数据准备
- 类别
- 初步结果
- 公式图片识别 生成Latex表达式
- 模型调用
- 识别模型的组成
- 具体流程
- 想法来源
在线编辑器
链接如下：
Latex 在线公式编辑器
截图如下：
所有图标全是svg图片渲染，可以任意放大界面而不失真。
Flag
既然简单的界面已经做出来了，而且起的名字带有AI，想着怎么也不能对不起这两个字母，就个自己立了个flag，列了一个计划，真正用起AI，来帮助后来者，计划如下：
后期目标是，上传图片，然后识别返回生成的latex表达式；
但是能不能做到不太好说，由于资金有限，尤其最近显卡都炒到3倍了，本人现在自己台式机的显卡是GTX1060 6G，希望能支撑起模型的训练。
目标检测
初步计划用3个月的零碎时间，进行模型训练：1个月用于目标检测训练，2个月用于公式识别模型训练。
基本思路
要识别图片中的内容，第一步先要找到目标在哪里？因此准备从目标检测入手，采用yolo5方法。
yolo5的简介可以看这篇文章：YOLOv5学习总结（持续更新）训练模型需要数据，需要标记label等；
用人标记，耗时耗力耗费，故准备采用代码自动数据，这种方法无法解决手写之类的识别，先这么着吧。
模型调用
数据准备
图片类似这样的：
每张图片对应一个文件，文件内部是一行行的label，label的格式如下：
object_class x_center y_center width height
类别
初步定义的类别，如果不对再加：
| 类别 | Value | 例子 |
|---|---|---|
| 单行公式 | 0 | 文字 y=ax2+bx+cy=ax^2+bx+cy=ax2+bx+c文字 |
| 多行公式 | 1 | 文字 [1234]\begin{bmatrix} 1 & 2\\ 3 & 4\end{bmatrix}[1324] 文字 |
初步结果
公式图片识别 生成Latex表达式
模型调用
识别模型的组成
- Encoder使用CNN模型，用于提取图片特征
- Decoder使用Sequence模型，用于将图片的Embedding转化为Latex表达式
- 需要一个Latex的字典表
- 图片处理：旋转、裁剪、翻转、模糊等
具体流程
- 数据集获取
- 从数据集中，总结字典，并在之后不断完善
- 图片加载，包括预处理（现在做）和数据增强（以后做）
- Encoder部分的代码
- Decoder部分的代码
- Loss部分
- inference部分（包括后处理）
- 服务部分
- beam search、rl（以后做）
未完，待更新…
想法来源
改用Markdown开始做笔记之后， 公式经常采用Latex书写，但是总是遇到一些公式不太会写，因此产生一个想法：
实现一个在线使用latex编辑公式的工具，工具提供帮助，不用记忆很多写法；利用端午节假期实现了一版。
创建自己的Latex公式编辑器及AI自动识别相关推荐
- 如何在PowerPoint中使用LaTex公式编辑器
在PowerPoint中使用LaTex公式编辑器 安装TeX系统(推荐TexLive) 下载IguanaTex 进行TeX2img相关设置 基本的界面操作 LaTex语法 安装TeX系统(推荐TexL ...
- Markdown如何插入LaTeX公式？（在线LaTeX公式编辑器）
如图,想在markdown中插入这个公式,咋弄呢? 如果为了编辑这个公式而去学习LaTeX公式语法,那可就太蛋疼了!!! 下面推荐一个在线可视化LaTeX公式编辑器,你可以利用里面的可视化工具编辑好公 ...
- Latex公式编辑器的使用说明
Latex公式编辑器在线编辑 实例: J(\theta )=\frac{1}{2m}\sum_{i=1}^{m}((h_{\theta}(x^{i}-y^{i})^{2}))
- vscode+latex(基于texLive发行版_windows)/在线高清可视化latex公式编辑器
文章目录 安装latex workshop插件 安装Texlive 安装: the result: 启用实时预览: 在线可视化latex公式编辑器 安装latex workshop插件 安装Texli ...
- 史上最简单直接截图识别的latex公式编辑器
工欲善其事必先利其器,今天给大家推荐一款直接截图识别的latex公式编辑器,识别率几乎100%,而且完全免费! 下载链接为https://mathpix.com 直接安装就行,使用crtl+alt+m ...
- CODECOGS在线LaTeX公式编辑器收费陷阱！
CSDN博客并没有公式编辑器,需要用公式编辑器编写之后再一图片的形式上传.因为这样很不方便,就在网上搜在线LaTeX编辑器:http://private.codecogs.com/latex/eqne ...
- LaTex公式编辑器
参考资料 [1]:LaTex编辑公式快速上手 •下标 使用符号 _: $C_{i}$ $C_{i}$ •上标 使用符号 ^: $C^{j}$ $C^{j}$ •上下标 $C_{i}^{j}$ $C_{ ...
- LaTeX公式编辑器ver1.6.5 编辑器 -----TeX公式编辑网站
网站地址
- latex公式编辑器-配合word使用
推荐两个软件: klatexformula 可以在windows下运行,界面内容不丰富,但是基本符号挺全的,需要配置一下texlive的一些执行文件路径. 可以导出多种格式 pdf,jpg,png,s ...
最新文章
- 2018 蓝桥杯省赛 B 组模拟赛（一）-年龄
- 生成器、生成器函数、推导式、生成器表达式
- 四边形可以分为几类_学习知识：四边形有几种类型
- 【Linux】12.ssh登录服务器一直被拒绝、以及 ssh连接总自己断开 的解决办法
- Impala介绍，Impala架构，Impala安装，impala Shell ，分区创建，refresh,load数据，获取数据的元数据
- 类对象模型实验：类数据成员大小
- SpringDataJPA中使用Specification进行表连接多条件分页动态查询
- 麻将胡牌判定方法-索引法
- css 绘制心形图案
- HP11(HP其他喷头也可） 喷头程序开发项目外包
- sip 信令组成的基本格式 总结
- 【机器学习笔记14】softmax多分类模型【下篇】从零开始自己实现softmax多分类器（含具体代码与示例数据集）
- linux安装ati工具,Ubuntu 12.10 安装ATI显卡驱动安装
- MyBatis和MyBatis-plus教程
- nova3安装android10系统,一招搞定安卓机“久用必卡”顽疾：华为nova3i配备6GB超大运存...
- -------Python中ConfigArgParse模块介绍---------
- SynchroTrap-基于松散行为相似度的欺诈账户检测算法
- #VS C++ 2019# VSC++基础--下载并安装VSC++
- select下拉框设置边框样式
- 04--简单菜单使用