python写词法分析器_如何用python写一个简单的词法分析器
编译原理老师要求写一个java的词法分析器,想了想决定用python写一个。
目标
能识别出变量,数字,运算符,界符和关键字,用excel表打印出来。
有了目标,想想要怎么实现词法分析器。
1.先进行预处理,把注释,多余的空格,空行去掉。
2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断。
若是以 英文字母、$、下划线开头,则可能是变量和关键字,在判断是关键字还是变量。
若是数字开头,则判断下一位是不是也是数字,直到遇到非数字停止,在把数字取出来。
再来判断分割符是什么类型,是界符还是运算符。
在给不同词添加上识别码
在用excel表打印出来。
代码实现
1. 用列表创建一个关键字表,java关键字有50个。
#保留字
key_word = ['abstract','assert','boolean','break','byte',
'case','catch','char','class','const',
'continue','default','do','double','else',
'enum','extends','final','finally','float',
'for','goto','if','implements','import',
'instanceof','int','interface','long','native',
'new','package','private','protected','public',
'return','short','static','strictfp','super',
'switch','synchronized','this','throw','throws',
'transient','try','void','volatile','while']
2.用列表创建一个运算符表。
#运算符
operator = ['+','-','*','/','%','++','--','+=','-=','+=','/=',#算术运算符
'==','!=','>','=','<=',#关系运算符
'&','|','^','~','<>','>>>',#位运算符
'&&','||','!',#逻辑运算符
'=','+=','-=','*=','/=','%=','<<=','>>=','&=','^=','|=',#赋值运算符
'?:']#条件运算符
3. 用列表创建一个界符表。
#界符
delimiters = ['{','}','[',']','(',')','.',',',':',';']
4.预处理
用正则表达式把注释去掉,在把多余的空行去掉
#预处理
def filterResource(file,new_file):
f2 = open(new_file,'w+')
txt = ''.join(open(file,'r').readlines())
deal_txt = re.sub(r'\/\*[\s\S]*\*\/|\/\/.*','',txt)
for line in deal_txt.split('\n'):
line = line.strip()
line = line.replace('\\t','')
line = line.replace('\\n','')
if not line:
continue
else:
f2.write(line+'\n')
f2.close()
return sys.path[0]+'\\'+ new_file
5.逐行扫描
按照刚刚的思路进行判断,把每一行的单词,添加到word_line列表中,最后在把每一行添加到token列表中。
def Scan(file):
lines = open(file,'r').readlines()
for line in lines:
word = ''
word_line = []
i = 0
while i
word +=line[i]
if line[i]==' ' or line[i] in delimiters or line[i] in operator:
if word[0].isalpha() or word[0]=='$' or word[0]=='_':
word = word[:-1]
if searchReserve(word):
# 保留字
word_line.append({word[:-1]:key_word.index(word)})
else:
# 标识符
identifier.append({word:-2})
word_line.append({word:-2})
# 常数
elif word[:-1].isdigit():
word_line.append({word:-1})
#else:
#error_word.append(word)
# 字符是界符
if line[i] in delimiters:
word_line.append({line[i]:len(key_word)+delimiters.index(line[i])})
# 字符是运算符
elif line[i] in operator:
s = line[i] +line[i+1]
if s in operator:
word_line.append({s:len(key_word)+len(delimiters)+operator.index(s)})
i +=1
else:
word_line.append({line[i]:len(key_word)+len(delimiters)+operator.index(line[i])})
word = ''
i+=1
token.append(word_line)
6.根据单词返回是什么类型
按照保留字--界符--运算符--常数的顺序来当识别码。常数识别码是-1,标识符识别码是-2
def check(number):
hanzi = ''
q = len(key_word)
w = len(delimiters)
e = len(operator)
if 0
hanzi = '保留字'
elif q
hanzi = '界符'
elif q+w
hanzi = '运算符'
elif number == -1:
hanzi ='常数'
elif number == -2:
hanzi ='标识符'
return hanzi
7. 用thinker写一个简单的界面
导入
from tkinter import *
from tkinter.filedialog import askdirectory,askopenfilename
root = Tk()
root.title('词法分析')
root.resizable(0, 0)
path = StringVar()
Label(root,text = "目标路径:").grid(row = 0, column = 0)
Entry(root, textvariable = path).grid(row = 0, column = 1)
Button(root, text = "路径选择", command = openfiles).grid(row = 0, column = 2)
Button(root,text='词法分析',command= open_excel).grid(row = 0,column = 3)
root.mainloop()
打开文件
def openfiles():
fname = askopenfilename(title='打开文件', filetypes=[('All Files', '*')])
path.set(fname)
简单的界面
8.导入到excel表中
需要安装包xwings
pip install xwings
导入
import xlwings as xw
把token里的单词,按照 单词 ---- 识别码 ---类型 打印到excel表中
def open_excel():
# 预处理
row,col=0,0
if path.get()!='':
txt = java_analysis.filterResource(path.get(),new_file)
print(txt)
#扫描
java_analysis.Scan(txt)
app = xw.App(visible=True,add_book=False)
wb =app.books.open(sys.path[0]+'\\'+'test.xlsx')
sheet = wb.sheets.active
sheet.clear()
print(java_analysis.token)
for i in range(len(java_analysis.token)):
sheet[row,0].value = '第'+str(i+1)+'行'
row +=1
for word in java_analysis.token[i]:
for k,w in word.items():
sheet[row,3].value = k
sheet[row,5].value = w
sheet[row,7].value = java_analysis.check(w)
row +=1
sheet.autofit()#整个sheet自动调整
#wb.save()
最后就像这样
效果
代码很烂,不过也算是大致明白词法分析器了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
python写词法分析器_如何用python写一个简单的词法分析器相关推荐
- python小助手_如何用python写个人专属群聊提醒小助手?
前言 大家还记得教会父母玩微信是什么时候吗?父母学会后,我们的生活就发生了「质」的变化,父母也许会吐槽你的微信头像不好,要你换一个头像. 最近 pk哥 又被母后大人吐槽了,原因是亲戚微信群里某个亲戚生 ...
- 写python脚本管理_如何用python脚本控制TPLINK路由器
我想知道是否有一种工具可以让我连接到路由器并关闭它,然后从python脚本重新启动它.如何用python脚本控制TPLINK路由器 我知道如果我用python脚本编写:import os然后做os.s ...
- python vlookup 模糊_如何用python写excel中的vlookup函数?
1.背景 Vlookup 函数,可以算是一个数据专员必须要会使用的基本函数了,确实很好用.但是你可能会注意到,Excel 一旦数据量过大,打开都费劲了,何况打开后,你还要输入公式计算,就更费劲了,此时 ...
- python程序写蛇_如何用Python画一条蛇
先上效果图 最近又打算重新学习Python了, 之前也入门过Python, 但是弄完Python的开发环境后, 停留在print("hello world")阶段 非科班出身, 没 ...
- python怎么读_如何用Python读写文件
前面我们已经介绍了很多Python相关的基础知识,大家是不是对Python已经有了进一步认识了呢?作为人工智能时代的热门编程语言,开始接触并学习Python的孩子越来越多,家长们都不想让自己的孩子落于 ...
- python抓取_如何用Python抓取最便宜的机票信息(下)
到目前为止,我们有一个函数来加载更多的结果,还有一个函数来抓取这些结果.我可以在这里结束这篇文章,您仍然可以手动使用这些工具,并在您自己浏览的页面上使用抓取功能,但我确实提到了一些关于向您自己发送电子 ...
- python批处理工具_如何用python批量处理!python批处理教程
如何用python批量处理 def GetFileList(dir, fileList,notdeal=[]): newDir = dir if os.path.isfile(dir): fil ...
- python脚本编写_如何用Python包编写一个简单的脚本,表达你对父母的爱?
全文共2800字,预计学习时长6分钟 在繁忙的工作生活中,我们经常忘记给所爱的人发WhatsApp.本教程将使用Python包Twilio编写一个简单的Python脚本来发送WhatsApp消息.我们 ...
- python旅游推荐系统_如何用Python搭建一个简单的推荐系统?
推荐系统的相关知识我们已在前文中提到,在这篇文章中,我们会介绍如何用Python来搭建一个简单的推荐系统. 本文使用的数据集是MovieLens数据集,该数据集由明尼苏达大学的Grouplens研究小 ...
最新文章
- 模拟真机环境_QFramework 使用指南 2020(八):Res Kit(2)模拟模式与非模拟模式...
- 蚂蚁森林最高效的合种团队,新树冷杉6天合种成员招募
- kubernetes 1.14安装部署helm插件
- 投票选举c语言程序,C语言元旦礼物:经典入门问题分析——选举投票
- 仿豆丁百度文库网页版阅读器完整解决方案
- Undo/Redo框架实现
- mysql自连接_MySQL自连接
- pv=clear后的修复
- iOS 设计中 网络请求之 同步请求(json 请求--新方法和老方法)
- 初学者phthon笔记(异常处理)
- SQL Server便利名称
- python作用域(scope)(三分钟读懂)
- 给网站插入一个百度地图API
- springboot前台页面写Java代码,接收后台数据,SpringBoot整合Thymeleaf的使用,实现非ajax请求后台的数据实现和遍历效果,以及数据的页面展示
- 阿里云盘内测_阿里云盘即将推出,欲与百度网盘较高下
- 北京云栖AI大热 驻云CloudCare揭云服务新趋势
- 学习-定义和调用求x的n次幂的函数
- 五万字总结,深度学习基础。
- 把音频中的某个人声去掉_能不能把一段音频中的人声和背景音乐分开
- 门诊排队叫号系统,有序叫号就诊,适用医院医院、门诊部、诊所等
热门文章
- ARM平台编译dante出现【configure: error: cannot guess build type; you must specify one】解决方法
- 给大四实习学生的一些建议
- quartus II工具In-System Memory Content Editor使用方法
- 律师的好帮手便签软件官方下载 律师好帮手待办app
- 运行时更换天空盒材质的贴图
- 电脑有线无线同时上网
- java 开发扑克游戏_Java 04实战开发 扑克游戏
- 在容器中编译go项目出现cannot find packages的问题
- 408 | 【2014年】计算机统考真题 自用回顾知识点整理
- outline与border的区别