python写词法分析器_用python写一个简单的词法分析器
编译原理老师要求写一个java的词法分析器,想了想决定用python写一个。
目标
能识别出变量,数字,运算符,界符和关键字,用excel表打印出来。
有了目标,想想要怎么实现词法分析器。
1.先进行预处理,把注释,多余的空格,空行去掉。
2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断。
若是以 英文字母、$、下划线开头,则可能是变量和关键字,在判断是关键字还是变量。
若是数字开头,则判断下一位是不是也是数字,直到遇到非数字停止,在把数字取出来。
再来判断分割符是什么类型,是界符还是运算符。
在给不同词添加上识别码
在用excel表打印出来。
代码实现
1. 用列表创建一个关键字表,java关键字有50个。
#保留字
key_word = ['abstract','assert','boolean','break','byte',
'case','catch','char','class','const',
'continue','default','do','double','else',
'enum','extends','final','finally','float',
'for','goto','if','implements','import',
'instanceof','int','interface','long','native',
'new','package','private','protected','public',
'return','short','static','strictfp','super',
'switch','synchronized','this','throw','throws',
'transient','try','void','volatile','while']
2.用列表创建一个运算符表。
#运算符
operator = ['+','-','*','/','%','++','--','+=','-=','+=','/=',#算术运算符
'==','!=','>','=','<=',#关系运算符
'&','|','^','~','<>','>>>',#位运算符
'&&','||','!',#逻辑运算符
'=','+=','-=','*=','/=','%=','<<=','>>=','&=','^=','|=',#赋值运算符
'?:']#条件运算符
3. 用列表创建一个界符表。
#界符
delimiters = ['{','}','[',']','(',')','.',',',':',';']
4.预处理
用正则表达式把注释去掉,在把多余的空行去掉
#预处理
def filterResource(file,new_file):
f2 = open(new_file,'w+')
txt = ''.join(open(file,'r').readlines())
deal_txt = re.sub(r'\/\*[\s\S]*\*\/|\/\/.*','',txt)
for line in deal_txt.split('\n'):
line = line.strip()
line = line.replace('\\t','')
line = line.replace('\\n','')
if not line:
continue
else:
f2.write(line+'\n')
f2.close()
return sys.path[0]+'\\'+ new_file
5.逐行扫描
按照刚刚的思路进行判断,把每一行的单词,添加到word_line列表中,最后在把每一行添加到token列表中。
def Scan(file):
lines = open(file,'r').readlines()
for line in lines:
word = ''
word_line = []
i = 0
while i
word +=line[i]
if line[i]==' ' or line[i] in delimiters or line[i] in operator:
if word[0].isalpha() or word[0]=='$' or word[0]=='_':
word = word[:-1]
if searchReserve(word):
# 保留字
word_line.append({word[:-1]:key_word.index(word)})
else:
# 标识符
identifier.append({word:-2})
word_line.append({word:-2})
# 常数
elif word[:-1].isdigit():
word_line.append({word:-1})
#else:
#error_word.append(word)
# 字符是界符
if line[i] in delimiters:
word_line.append({line[i]:len(key_word)+delimiters.index(line[i])})
# 字符是运算符
elif line[i] in operator:
s = line[i] +line[i+1]
if s in operator:
word_line.append({s:len(key_word)+len(delimiters)+operator.index(s)})
i +=1
else:
word_line.append({line[i]:len(key_word)+len(delimiters)+operator.index(line[i])})
word = ''
i+=1
token.append(word_line)
6.根据单词返回是什么类型
按照保留字--界符--运算符--常数的顺序来当识别码。常数识别码是-1,标识符识别码是-2
def check(number):
hanzi = ''
q = len(key_word)
w = len(delimiters)
e = len(operator)
if 0
hanzi = '保留字'
elif q
hanzi = '界符'
elif q+w
hanzi = '运算符'
elif number == -1:
hanzi ='常数'
elif number == -2:
hanzi ='标识符'
return hanzi
8. 用thinker写一个简单的界面
导入
from tkinter import *
from tkinter.filedialog import askdirectory,askopenfilename
root = Tk()
root.title('词法分析')
root.resizable(0, 0)
path = StringVar()
Label(root,text = "目标路径:").grid(row = 0, column = 0)
Entry(root, textvariable = path).grid(row = 0, column = 1)
Button(root, text = "路径选择", command = openfiles).grid(row = 0, column = 2)
Button(root,text='词法分析',command= open_excel).grid(row = 0,column = 3)
root.mainloop()
打开文件
def openfiles():
fname = askopenfilename(title='打开文件', filetypes=[('All Files', '*')])
path.set(fname)
简单的界面
9.导入到excel表中
需要安装包xwings
pip install xwings
导入
import xlwings as xw
把token里的单词,按照 单词 ---- 识别码 ---类型 打印到excel表中
def open_excel():
# 预处理
row,col=0,0
if path.get()!='':
txt = java_analysis.filterResource(path.get(),new_file)
print(txt)
#扫描
java_analysis.Scan(txt)
app = xw.App(visible=True,add_book=False)
wb =app.books.open(sys.path[0]+'\\'+'test.xlsx')
sheet = wb.sheets.active
sheet.clear()
print(java_analysis.token)
for i in range(len(java_analysis.token)):
sheet[row,0].value = '第'+str(i+1)+'行'
row +=1
for word in java_analysis.token[i]:
for k,w in word.items():
sheet[row,3].value = k
sheet[row,5].value = w
sheet[row,7].value = java_analysis.check(w)
row +=1
sheet.autofit()#整个sheet自动调整
#wb.save()
最后就像这样
效果
代码很烂,不过也算是大致明白词法分析器了。
python写词法分析器_用python写一个简单的词法分析器相关推荐
- python七彩同心圆_用pygame做一个简单的python小游戏---七彩同心圆
用pygame做一个简单的python小游戏---七彩同心圆 用pygame做一个简单的python小游戏-七彩同心圆 这个小游戏原是我同学python课的课后作业,并不是很难,就简单实现了一下,顺便 ...
- 用Python实现音频卷积,并制作一个简单的HRTF效果
用Python实现音频卷积,并制作一个简单的HRTF效果 作为一个刚刚入门Python的小白用户,写出这篇文章还是废了我很大的力气,不过幸运的是,在网上到处东拼西凑,我还是把它给做出来了. 废话不多说 ...
- Python开发第一步:如何制作一个简单的桌面应用
Python开发第一步:如何制作一个简单的桌面应用 前言 大家好,我是baifagg, 一个热爱Python的编程爱好者. 今天我们来学习一下, 如何用Python制作一个简单的桌面应用程序. 虽然桌 ...
- python爬虫入门教程(二):开始一个简单的爬虫
2019/10/28更新 使用Python3,而不再是Python2 转载请注明出处:https://blog.csdn.net/aaronjny/article/details/77945329 爬 ...
- python对象引用计数器_在Python中借助计数器对象对项目进行计数
python对象引用计数器 前提 (The Premise) When we deal with data containers, such as tuples and lists, in Pytho ...
- python 时间序列预测_使用Python进行动手时间序列预测
python 时间序列预测 Time series analysis is the endeavor of extracting meaningful summary and statistical ...
- python 概率分布模型_使用python的概率模型进行公司估值
python 概率分布模型 Note from Towards Data Science's editors: While we allow independent authors to publis ...
- python小项目实例流程-Python小项目:快速开发出一个简单的学生管理系统
原标题:Python小项目:快速开发出一个简单的学生管理系统 本文根据实际项目中的一部分api 设计抽象出来,实例化成一个简单小例子,暂且叫作「学生管理系统」. 这个系统主要完成下面增删改查的功能: ...
- python小项目案例-Python小项目:快速开发出一个简单的学生管理系统
本文根据实际项目中的一部分api 设计抽象出来,实例化成一个简单小例子,暂且叫作「学生管理系统」. 这个系统主要完成下面增删改查的功能: 包括: 学校信息的管理 教师信息的管理 学生信息的管理 根据A ...
- python项目开发实例-Python小项目:快速开发出一个简单的学生管理系统
本文根据实际项目中的一部分api 设计抽象出来,实例化成一个简单小例子,暂且叫作「学生管理系统」. 这个系统主要完成下面增删改查的功能: 包括: 学校信息的管理 教师信息的管理 学生信息的管理 根据A ...
最新文章
- Elasticsearch调优实践
- jzoj5230-队伍统计【状压dp】
- 第九节: 利用RemoteScheduler实现Sheduler的远程控制
- IntelliJ IDEA最常用的一些快捷键,学会了室友还以为你在祖安对线
- 今天我开通了51cto的博客
- MFCButton Memory leak(内存泄露问题)
- EJB3.0零碎要点---在部署web本地客户端的时候org.apache.jasper.JasperException: java.lang.ClassCastException: $Proxy
- memcached操作
- CSDN招人啦!快来看看,有你想要的职位吗?
- C# 进程间通信(共享内存)
- 2018年让你的技术学习快人一步!
- C语言编写万年历程序
- MATLAB图像处理学习日记之图像的自定义裁剪imcrop操作
- 如何辨别电解电容正负极
- 【ESP8266】ESP8266的MQTT客户端搭建教程(基于NONS_SDK_v2.0)
- 44道JavaScript送命题
- 【免费赠送源码】Springboot篮球网站19133计算机毕业设计-课程设计-期末作业-毕设程序代做
- API-String类、基本数据类型对象包装类
- SQL条件判断语句(case when zhen ,isnull)
- Python excel提取表格信息整理到word中
热门文章
- FPGA 读写访问 Flash
- 利用字符数组c语言编写迷宫探路游戏,C语言打造——迷宫游戏
- ffmpeg编码报错:more samples than frame size (avcodec_encode_audio2)
- 易模3D建模教程| 20min教会你人像3D建模
- 媲美ps的图像编辑器Affinity Photo 1.7.0.128中文版
- SEO is Dead?
- Python练习——输出10个不重复的英文字母
- sand()和rand()用法简介
- 如何写好科研论文 | 作业
- Python函数式编程指南(二):函数