Antlr4 简单入门
一.ANTRL 是什么
ANTLR 是用JAVA写的语言识别工具,它用来声明语言的语法,简称为“元语言”(meta-language)。
ANTLR 语法识别一般分为二个阶段:
1.词法分析阶段 (lexical analysis)
对应的分析程序叫做 lexer ,负责将符号(token)分组成符号类(token class or token type)
2.解析阶段
根据词法,构建出一棵分析树(parse tree)或叫语法树(syntax tree)
ANTLR 的直观印象,就像是在走迷宫,或者说是电路板更准确,最终只有一条最优路可通达开始与结束,中间的各种叉路与开关,就是我们所编写的规则,下面是我编写的一个SQL查询的简单实现,截取一部分图示:
ANTLR 官方网址 http://www.antlr.org/
ANTLR 官方 Github https://github.com/antlr/antlr4
大量语法文件例子 https://github.com/antlr/grammars-v4
二.主要应用场景
1.定制特定领域语言(DSL)
类似hibernate中的HQL,用DSL来定义要执行操作的高层语法,这种语法接近人可理解的语言,由DSL到计算机语言的翻译则通过ANTLR来做,可在ANTLR的结构语言中定义DSL命令具体要执行何种操作。
2.文本解析 可利用ANTLR解析JSON,HTML,XML,EDIFACT,或自定义的报文格式。解析出来的信息需要做什么处理也可以在结构文件中定义。
3.数学计算 加减乘除,线性方程,几何运算,微积分等等
三.ANTRL 语法
1.结构
/** Optional javadoc style comment */
grammar Name;
options {...}
import ... ;tokens {...}
channels {...} // lexer only
@actionName {...}rule1 // parser and lexer rules, possibly intermingled
...
ruleN
grammar
声明语法头,类似于java类的定义
grammar SPL;
options
选项,如语言选项,输出选项,回溯选项,记忆选项等等
options { output=AST; language=Java; }options { tokenVocab=MySqlLexer; }
@actionName
动作(Actions)实际上是用目标语言写成的、嵌入到规则中的代码(以花括号包裹)。它们通常直接操作输入的标号,但是他们也可以用来调用相应的外部代码。属性,到目前为止我的理解还不多,感觉像是C++中类里面的成员。常用属性或动作说明:
@header { package com.zetyun.aiops.antlr.test; }
这个动作很有用,即在运行脚本后,生成的类中自动带上这个包路径,避免了手动加入的麻烦。
@members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
@after {System.out.println("after matching rule; before finally");}
rule
这是核心,表示规则,以 “:” 开始, “;” 结束, 多规则以 "|" 分隔。
ID : [a-zA-Z0-9|'_']+ ; //数字
STR:'\'' ('\'\'' | ~('\''))* '\'';
WS: [ \t\n\r]+ -> skip ; // 系统级规则 ,即忽略换行与空格sqlStatement: ddlStatement | dmlStatement | transactionStatement| replicationStatement | preparedStatement| administrationStatement | utilityStatement;
2.注释
- 单行、多行、javadoc风格
- javadoc风格只能在开头使用
/** * This grammar is an example illustrating the three kinds* of comments.*/
grammar T;/* a multi-linecomment
*//** This rule matches a declarator for my language */decl : ID ; // match a variable name
3.标识符
- 符号(Token)名大写开头
- 解析规则(Parser rule)名小写开头,后面可以跟字母、数字、下划线
ID, LPAREN, RIGHT_CURLY // token names expr, simpleDeclarator, d2, header_file // rule names
四.遍历模式
1、Listener (观察者模式,通过结点监听,触发处理方法)
- 程序员不需要显示定义遍历语法树的顺序,实现简单
- 缺点,不能显示控制遍历语法树的顺序
- 动作代码与文法产生式解耦,利于文法产生式的重用
- 没有返回值,需要使用map、栈等结构在节点间传值
2、Visitor (访问者模式,主动遍历)
- 程序员可以显示定义遍历语法树的顺序
- 不需要与antlr遍历类ParseTreeWalker一起使用,直接对tree操作
- 动作代码与文法产生式解耦,利于文法产生式的重用
- visitor方法可以直接返回值,返回值的类型必须一致,不需要使用map这种节点间传值方式,效率高
五.示例
计算器之四则运算(官方例子照抄)
1、新建g4文件,如Math.g4
grammar Math;@header{package com.zetyun.aiops.core.math;} prog : stat+;stat: expr NEWLINE # printExpr| ID '=' expr NEWLINE # assign| NEWLINE # blank;expr: expr op=('*'|'/') expr # MulDiv
| expr op=('+'|'-') expr # AddSub
| INT # int
| ID # id
| '(' expr ')' # parens
;MUL : '*' ; // assigns token name to '*' used above in grammar
DIV : '/' ;
ADD : '+' ;
SUB : '-' ;
ID : [a-zA-Z]+ ;
INT : [0-9]+ ;
NEWLINE:'\r'? '\n' ;
WS : [ \t]+ -> skip;
2、运行Math.g4文件,生成.java文件
如果没有安装eclipse antlr插件的话,根据如下指示操作即可:
help -> Eclipse Marketplace -> 搜索 Antlr -> 选中合适版本,安装即可。
3、编写测试文件,检验语法,验证结果等
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.tree.ParseTree;import com.zetyun.aiops.core.math.MathLexer;
import com.zetyun.aiops.core.math.MathParser;public class Math {public static void main(String[] args) {CharStream input = CharStreams.fromString("12*2+12\r\n");MathLexer lexer=new MathLexer(input);CommonTokenStream tokens = new CommonTokenStream(lexer);MathParser parser = new MathParser(tokens);ParseTree tree = parser.prog(); // parseMathVisitorTest vt=new MathVisitorTest();vt.visit(tree);}}
4、语法树分析
1) 下载antlr4运行包,这里我选择的版本是 antlr-4.7-complete.jar
http://www.antlr.org/download.html
2) 新建运行脚本 antlr4.bat 和 grun.bat,放置于任意目录,如 E:/tools/antlr4
antlr4.bat 内容:
java org.antlr.v4.Tool %*
grun.bat 内容:
java org.antlr.v4.gui.TestRig %*
注:antlr依赖于java,如果java环境变量没有设置,请先行设置好。
3) 设置antlr4的系统环境变量(classpath 和 path)
classpath:
path (.bat所在目录) :
4) 选择要分析的g4文件,运行命令生成相关java文件与token文件
D:\workspace\AntlrTest\test\math> antlr4 Math.g4
- 5) 编译java文件
D:\workspace\AntlrTest\test\math>javac ./*.java
- 6) 分析语法树
输入grun命令回车,在命令行输入你要测试的语法,再回车,按Ctrl+z 后回车。
D:\workspace\AntlrTest\test\math>grun Math expr -guiD:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui
(2+3)*5-25/5
^Z
执行完命令后,会出现GUI窗口:
通过语法树,我们可以直观的知道语法是否正确,以便随时调整。
Antlr4 简单入门相关推荐
- BizTalk 2006 简单入门示例程序(附源项目文件下载)
BizTalk 2006 简单入门示例程序(附源项目文件下载) 为初学BizTalk Server 2006的开发人员,提供一个简单入门的示例程序,包括一个Receive Port.Send Port ...
- python如何读取mat文件可视化_python Matplotlib数据可视化(1):简单入门
1 matplot入门指南 matplotlib是Python科学计算中使用最多的一个可视化库,功能丰富,提供了非常多的可视化方案,基本能够满足各种场景下的数据可视化需求.但功能丰富从另一方面来说也意 ...
- ARM NEON 编程简单入门1
原文:http://blog.csdn.net/silentob/article/details/72954618 ARM NEON 编程简单入门1 NEON简介 NEON是适用于ARM Corte ...
- Python 简单入门指北(二)
Python 简单入门指北(二) 2 函数 2.1 函数是一等公民 一等公民指的是 Python 的函数能够动态创建,能赋值给别的变量,能作为参传给函数,也能作为函数的返回值.总而言之,函数和普通变量 ...
- EChart.js 简单入门
EChart.js 简单入门 最近有一个统计的项目要做,在前端的数据需要用图表的形式展示.网上搜索了一下,发现有几种统计图库. MSChart 这个是Visual Studio里的自带控件,使用比 ...
- 【我的区块链之路】- Hyperledger fabric的简单入门(四)链码的编写及调试
[我的区块链之路]- Hyperledger fabric的简单入门(四)链码的编写及调试 之前的文章中我们有讲过了fabric的一些核心的配置文件的选项说明,讲过fabric 的网络启动 ...
- 基于vue-cli、elementUI的Vue超简单入门小例子
基于vue-cli.elementUI的Vue超简单入门小例子 这个例子还是比较简单的,独立完成后,能大概知道vue是干嘛的,可以写个todoList的小例子. 开始写例子之前,先对环境的部署做点简单 ...
- 【java开发系列】—— spring简单入门示例
回顾 1 JDK安装 2 Struts2简单入门示例 前言 作为入门级的记录帖,没有过多的技术含量,简单的搭建配置框架而已.这次讲到spring,这个应该是SSH中的重量级框架,它主要包含两个内容:控 ...
- JAVA Bean和XML之间的相互转换 - XStream简单入门
JAVA Bean和XML之间的相互转换 - XStream简单入门 背景介绍 XStream的简介 注解简介 应用实例 背景介绍 我们在工作中经常 遇到文件解析为数据或者数据转化为xml文件的情况, ...
- Mybatis 一对多 结果集映射 简单入门 易懂
Mybatis官方文档说明处 Mybatis 一对多 结果集映射 简单入门 易懂 一.搭建数据库环境 二.idea 搭建maven 项目 (mybatis-demo) 2.1.项目结构 2.2.导入依 ...
最新文章
- VB 宏+mysql解决EXCEL表格实现自动化处理
- VS2017 15.8第二个预览版本提升了对CPU Profiling和F#的支持
- Javolution 2.2.5 - Java Struct/Union Simplified
- ps 毛发 边缘_不会抠图怎么办?PS画笔绘制毛发技巧,抠图流程解析
- 使用注意力机制建模 - 标准化日期格式
- 美团点评基于MGR的CMDB高可用架构搭建之路【转】
- 《计算机应用基础》在线考试,2018年自学考试《计算机应用基础》考试题及答案...
- 不要打我,不要打我,不要打我啊啊
- property练习
- linux创建分区_在Linux中创建分区-分步指南
- [C/C++] C++中new的语法规则
- 文字转语音怎么在线生成MP3格式的音频?
- 全国2013年最新电子地图矢量数据超图格SGD MAPINFO GST SMW SHP格式等
- st8s003 c语言编译器,stm8s003f3p6
- 【转】影响光纤传输距离的因数和传输衰减损耗的原因
- UVM virtual interface errors
- IC卡历史及分类命名
- C语言结构体的1字节对齐(代码实现)
- 2020年中国空气压缩机行业发展现状、竞争格局及未来发展趋势分析,国内市场竞争激烈,市场规模将破600亿元「图」
- R 计算数据框多个变量频次表