LEX自动生成词法分析器

词法分析器作为编译器的一个重要组成部分，原理很简单，代码也都没什么技术含量，但是如果让你手工写一个词法分析器，哪怕是一个简单的词法分析器，工作量无疑是巨大的。现代的词法分析器一般都是依靠工具自动生成，这里我们选用flex生成词法分析器，下面是用到的flex的下载地址。windows的环境的话，lex.exe文件使我们所需要的工具。里面的帮助文档将教会你如何更好的使用flex。

学习编译原理并非一定要做一个完美的编译器，我们所需要的只是了解编译器的工作原理并能运用这些特性写出更高效合法的程序，因此我们只用lex的一些简单功能写一个简单的词法分析器来印证我们所学的知识。下图是lex的使用步骤简要说明：

这里的源文件是符合lex的语句，flex 的输入文件由三段组成，用一行中只有%%来分隔。

定义;definition
%%
规则;rules
%%
用户代码;code

这个源文件输出的就是词法分析器的C语言源程序，编译这个.c的源程序生成的就是你所定义语言的词法分析器。

这里我们用一个简单的例子来做一个简单的词法分析器，词法规则符合《编译原理及实践教程》中描述的sample语言。

下面是Source文件

%{
#include<math.h>
#include<stdlib.h>
#include<stdio.h>
%}DIGIT [0-9]
ID [a-z][a-z0-9]*
%%
{DIGIT}+                    {printf("整数:   %s(%d)\n",yytext,atoi(yytext));}
{DIGIT}+"."{DIGIT}+             {printf("实数:   %s(%g)\n",yytext,atof(yytext));}
if|then|begin|end|program|while|repeat      {printf("关键字: %s\n",yytext);}
{ID}                        {printf("标识符: %s\n",yytext);}
"+"|"-"|"*"|"/"                 {printf("运算符: %s\n",yytext);}
"{"[^}\n]*"}";
[\t\n\x20]+;
.                       {printf("不能识别的字符:%s\n",yytext);}
%%
int main(int argc,char **argv)
{++argv;--argc;if(argc>0) yyin=fopen(argv[0],"r");else yyin=stdin;yylex();return 0;
}
int yywrap()
{return 1;
}

这里我们把Source源文件保存为lex.l
通过在命令行模式下输出命令 lex lex.l 生成lex.yy.c文件，这就是我们的词法分析器的源代码了，打开看看，吃惊吧，这么简单的语言的词法分析程序竟然需要这么多代码，还好我们不用手工写。编译这个源程序，得到 lex.yy.exe，测试一下

OK，简单词法分析器就完成了。

欢迎转载，转载注明出处

LEX自动生成词法分析器相关推荐

利用Flex自动生成C语言词法分析器
利用Flex自动生成C语言词法分析器 Flex介绍 C语言词法规则具体实现源代码测试代码实验结果 Flex介绍 1975年Mike Lesk和实习生Eric Schmidt设计并实现了一个 ...
C代码工具--自动生成enum值和名字映射代码
这年头好像继续做C语言的人不多了,年轻人大多去互联网和移动应用.确实,那两个领域现在来钱快,且总是供不应求.就说刚刚在一个旧同事的微信群里,有人刚放出自己有团队可以做App几分钟,哇塞,好几个人说有项 ...
自动生成马斯克的推特几乎无破绽！MIT用GPT-2模型做了个名人发言模仿器
铜灵发自凹非寺量子位出品 | 公众号 QbitAI 模仿各路名人的推特行文,现在可以分分钟做到. MIT的研究科学家.深度学习课老师Lex Fridman做了一个新应用: DeepTweets ...
java语言生成语法分析_语法分析器自动生成工具一览
最近打算重做以前的一个留下遗憾的工作,当中的一项小任务就是要求编写一个简易SQL语言的语法分析器. 本科的<编译原理>课程依稀在我脑中留下些许映象.当初的课程大作业是写一个叫Dicuf(貌 ...
IDEA自动生成对象所有set方法
idea中有一款插件能够生成对象所有的set方法,GenerateAllSetter :下载地址步骤1:将下载好的压缩包放在自己记得的文件夹中,在idea中进行导入步骤2:在本地选中刚才的压缩包, ...
IDEA中根据数据库自动生成实体类，并自定义所生成的实体类中的注解 @Table @Id @...
使用IDEA项目添加Hibernate扩展,生成实体类并配置实体类中的注解一.使用Hibernate自动生成实体类 1.在项目上右键,选择Add Framework Support找到 Hibern ...
IDEA自动生成类注解，IDEA作者信息自动生成，IDEA类信息自动生成
在新建类文件的时候自动生成注解,诸如我们常见的那些作者,创建时间,TODO 等等将以下格式的代码放在Settings -> File and Code Templates -> Inc ...
FastAPI 自动生成的docs文档没法使用
FastAPI 自动生成的docs文档没法使用,当展开路径时候一直在转圈,具体就是这样这个是由于swagger-ui 3.30.1 中的bug导致,具体bug可以看这里我们可以通过在FastAPI ...
自动生成低精度深度学习算子
自动生成低精度深度学习算子深度学习模型变得越来越大,越来越复杂,由于其有限的计算和能源预算,部署在低功耗电话和IoT设备上变得充满挑战.深度学习的最新趋势是使用高度量化的模型,该模型可对输入和几位权 ...

LEX自动生成词法分析器

LEX自动生成词法分析器相关推荐

最新文章

热门文章