c语言实现词法分析器

词法分析器的功能:输入源程序，输出单词字符。单词字符一般可以分为下面五种。
（1）关键字是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等
（2）标识符用来表示各种名字，如变量名，数组名，过程名。
（3）常数常数的类型一般有整形，实型，布尔型等
（4）运算符如+，-，*，/。
（5）界符如逗号，分号，括号，%，//，等。
词法分析器的目标就是把程序分成一个一个单词。并给出单词符号的种类，以及种类值。
代码实现：
代码是贴的别人的，我在上面改善了一些实现的功能。自己发了三四个小时看明白了。自己完完全全写的确好多东西要学一下。比如一些文件的操作还不是特别的熟悉。等等呀！代码中还用到了结构体，我之前也做过一篇文章分析了，这里用结构体来实现关键字表，应该不是很难的。
普通标识符的种类编码1
无符号整数的种类编码2
“int”,的种类编码3
“char”,的种类编码4
“float”,的种类编码5
“main”,的种类编码6
“double”,的种类编码7
“case”, 的种类编码8
“for”,的种类编码9
“if”,的种类编码10
“auto”,的种类编码11
“else”,的种类编码12
“do”,的种类编码13
“while”,的种类编码14
“void”,的种类编码15
“static”, 的种类编码16
“return”,的种类编码17
“break”,的种类编码18
“struct”,的种类编码19
“const”,的种类编码20
“union”,的种类编码21
“switch”,的种类编码22
“typedef”,的种类编码23
"enum"的种类编码24
（的种类编码25
）的种类编码26
[ 的种类编码27
] 的种类编码28
; 的种类编码29
. 的种类编码30
, 的种类编码31
: 的种类编码32
{的种类编码33
} 的种类编码34
% 的种类编码35
" 的种类编码36
\ 的种类编码37
# 的种类编码38
/ 的种类编码39
++的种类编码41
+=的种类编码42
+的种类编码43
–的种类编码44
-=的种类编码45
-的种类编码46
*的种类编码47
=的种类编码48
>= 的种类编码49
> 的种类编码50
等
那个模块不是很清楚的话可以评论哈！！！

/*附录源程序清单：*/#include<string.h>
#include<stdio.h>
#define   MAX 22             /*分析}表的最大容量*/
#define   RES_MAX   10        /*关键字的最大长度*/
#define   MAXBUF 255         /*缓冲区的大小*/char   ch =' ';             /*存放读入当前的输入字符*/
int Line_NO;                /*纪录行号*/struct keywords    /*关键字*/
{char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char str[MAX][10]={"int","char","float","main","double","case", "for","if","auto","else","do","while","void","static", "return","break","struct","const","union","switch","typedef","enum"};/*对关键字表进行初始化，div,mod,and,or也作为关键字处理*/
/*最小的token是program：3，最大的token是or：24*/
void init()
{           int j;for(j=0; j<MAX; j++){strcpy(symtable[j].lexptr,str[j]);symtable[j].token=j+3;   }
}/***************对关键字进行搜索**************/
int Iskeyword(char * is_res){int i;for(i=0;i<MAX;i++){if((strcmp(symtable[i].lexptr,is_res))==0) break;}if(i<MAX) return   symtable[i].token;else return 0;
}/*****************判断是否为字母*****************/
int IsLetter(char c)
{if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;else return 0;
}/*************判断是否为数字**************/
int IsDigit(char c){if(c>='0'&&c<='9') return 1;else return 0;
}/***************分析程序**************/
void analyse(FILE *fpin,FILE *fpout){/* 输入缓冲区，存放一个单词符号 */char arr[MAXBUF];   int j=0;while((ch=fgetc(fpin))!=EOF){/*碰到空格、tab则跳过*/if(ch==' '||ch=='\t'){}else if(ch=='\n'){Line_NO++;}
/*********************字符串的处理*************************/else if(IsLetter(ch)){while(IsLetter(ch)|IsDigit(ch)|ch=='_'){if((ch<='Z')&&(ch>='A'))     ch=ch+32;   /*忽略大小写*/arr[j]=ch;j++;ch=fgetc(fpin);}/*输入指针回退一个字符*/fseek(fpin,-1L,SEEK_CUR);arr[j]='\0';j=0;if (Iskeyword(arr)){   /*如果是关键字*/fprintf(fpout,"%s\t\t%d\t\t关键字\n",arr,Iskeyword(arr));}else   fprintf(fpout,"%s\t\t%d\t\t标识符\n",arr,1); /*普通标识符*/
/*************************数字的处理****************************/      }else if(IsDigit(ch)){int s=0;while(IsDigit(ch)|IsLetter(ch)){if(IsLetter(ch)){arr[j]=ch;j++;ch=fgetc(fpin);s=1;}else if(IsDigit(ch)){arr[j]=ch;j++;ch=fgetc(fpin);}          }fseek(fpin,-1L,SEEK_CUR);arr[j]='\0';j=0;if(s==0)fprintf(fpout,"%s\t\t%d\t\t无符号整数\n",arr,2) ; else if(s==1)fprintf(fpout,"%s\t\t%d\t\t错误\n",arr,3) ; }else switch(ch){           case'+' :ch=fgetc(fpin);if(ch=='+'){fprintf(fpout,"%s\t\t%d\t\t自加运算符\n","++",41);break;}else if(ch=='='){fprintf(fpout,"%s\t\t%d\t\t运算符\n","+=",42);break;}elsefseek(fpin,-1L,SEEK_CUR);fprintf(fpout,"%s\t\t%d\t\t运算符\n","+",43);break;case'-' :ch=fgetc(fpin);if(ch=='-'){fprintf(fpout,"%s\t\t%d\t\t自减运算符\n","--",44);break;}else if(ch=='='){fprintf(fpout,"%s\t\t%d\t\t运算符\n","-=",45);break;}elsefseek(fpin,-1L,SEEK_CUR);fprintf(fpout,"%s\t\t%d\t\t运算符\n","-",46);break;case'*' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","*",47);break;case'(' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","(",25);break;case')' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",")",26);break;case'[' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","[",27);break;case']' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","]",28);break;                      case';' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",";",29);break;case'=' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","=",48);break;case'.' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",".",30);break;case',' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",",",31);break;case':' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",":",32);break; case'{' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","{",33);break;case'}' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","}",34);break; case'%' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","%",35);break;case'\"' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\"",36);break;case'\\' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\\",37);break;  case'#' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","#",38);break;case'>' :{ch=fgetc(fpin);if(ch=='=') fprintf(fpout,"%s\t\t%d\t\t运算符\n",">=",49);else {fprintf(fpout,"%s\t\t%d\t\t运算符\n",">",50);fseek(fpin,-1L,SEEK_CUR);}}break;case'<' :{ch=fgetc(fpin);if(ch=='=') fprintf(fpout,"%s\t\t%d\t\t运算符\n","<=",51);else if(ch=='>') fprintf(fpout,"%s\t\t%d\n","<>",52);else{fprintf(fpout,"%s\t\t%d\t\t运算符\n","<",53);fseek(fpin,-1L,SEEK_CUR);}}break;/***************出现在/  /之间的全部作为注释部分处理*******************/  case'/' :{ch=fgetc(fpin);if(ch=='/'){while(ch!='\n'){ch=fgetc(fpin);}}else if(ch=='*'){while(ch!='/'&&ch!=EOF){ch=fgetc(fpin);}if(ch==EOF) fprintf(fpout,"缺少一个'/'");}else {fprintf(fpout,"%s\t\t%d\t\t运算符\n","/",39);fseek(fpin,-1L,SEEK_CUR);}break;}/***************非法字符*******************/                         default :fprintf(fpout,"在第%d行无法识别的字符\t%c\n",Line_NO,ch);}}
}
/**********主程序中完成对输入输出文件的读写***********/
int main(){char in_fn[25],out_fn[25];FILE * fpin,* fpout;  printf("<<<<<<<<<<<<<<<<<<WELCOME>>>>>>>>>>>>>>>>>>>>>>>>>>>\n");printf("..............词法分析程序实验......................\n");printf("\n");printf(".....目前共有词法程序范例：   1个   \n");printf(".....程序范例1：data.txt \n");printf(".....输入一个已有的程序:\n");scanf("%s",in_fn);printf(".....输入你想要保存分析的目标文件名:\n");scanf("%s",out_fn);fpin=fopen(in_fn,"r");fpout=fopen(out_fn,"w");fprintf(fpout,"单词符\t\t种类编码\t\t种类\n");init();analyse(fpin,fpout);fclose(fpin);fclose(fpout);printf(".....程序已分析完成分析并保存至目标文件\n");printf("........<谢谢使用>......\n");return 0;
}

我用这个代码本身做的测试！汉字不能够分析，还有一些字符也没有加进去
如&，|。等有兴趣的小伙伴可以试试！
给大家看看结果！！！

因为加种类编码，所以可能有些混乱！看懂原理就行了！结构不是很复杂，希望对大家有所帮助。

c语言实现词法分析器相关推荐

基于C语言的词法分析器构建
C 解析器描述C–语言的文法(grammar)规则如下: <程序>∷=void main() <语句块> <语句块>∷={<语句串>} <语句串 ...
词法分析器java语言_词法分析器java版(java词法分析器)
无论是词法分析,还是语法分析,给我的第一感觉就是逻辑要严谨.由于项目有自己一套完整的语言和语法,设计好其对应的词法分析器和语法分析器显得尤为重要. 这里给您提供一个免费的java词法分析器下载 jav ...
设计sample语言的词法分析器_华为被曝自研编程语言“仓颉”，南大教授冯新宇领衔...
萧箫发自凹非寺量子位报道 | 公众号 QbitAI 近日,华为要自主研发编程语言的消息忽然在网上火了. 据微博博主@IT工程师称,华为正在研发新的自主编程语言仓颉,领头人是南京大学的计算机科 ...
设计sample语言的词法分析器_重现木兰编程语言（十）——比较、循环，一个语法设计特色
此刻支持的语法示例: sum = 0number = 1while number < 4 { sum = sum + number number = number + 1}print(sum) ...
第一次编译原理大作业---用FLEX编写C语言的词法分析器
一开始看到这个作业的时候真的很懵圈,因为感觉每个字都认识但合起来就不知道到底是什么意思.开始的时候先去官网看了flex的介绍,官网上推荐和visual studio一起用,然后又去下载了vs.搞了半天 ...
用LEX(FLEX)生成PL语言的词法分析器
lex/flex的语法结构 lex/flex是通过处理其源文件来生词法和语法分析器的,源文件的扩展名为.l,其语法被分为三个部分: /* 定义段 */ %{%} %% /* 规则段 */ %% /* ...
c语言实现词法分析器+文法分析器（全代码）
学习记录,可能有很多不足,请谅解. 基本按照教材方法注意本次词法分析只分析上图中拥有的 #include<iostream> #include<string.h> #incl ...
c语言lr分析器的设计与实现_[源码和文档分享]基于有限自动机的词法分析器构造...
一.目标本次实验的主要目的是对自定义的程序语言的词法分析器程序构造,我从 C 语言当中选择了部分具有代表性的子集,实现词法分析器,主要是对编译原理课程中学习的从正则达式转化为 NFA,再从 NFA ...
编译原理算符分析器实现 -* c语言代码,编译原理论文-词法分析器的设计与实现...
<编译原理论文-词法分析器的设计与实现>由会员分享,可在线阅读,更多相关<编译原理论文-词法分析器的设计与实现(13页珍藏版)>请在人人文库网上搜索. 1.编译原理论文题目 ...
c语言词法分析器报告,C语言词法分析器构造实验报告.doc
C语言词法分析器构造实验报告 02计算机(2) 2002374203 冯绍欣一.题目要求: 完成一个C语言的词法分析器的构造.此词法分析器能识别附值语句.循环语句.条件语句.并能处理注释. 二.设计 ...

c语言实现词法分析器

c语言实现词法分析器相关推荐

最新文章

热门文章