Python之文本去重（基础版）

一. 环境

系统版本：windows10家庭版
Python版本： python3.7.1
IDE：sublime_text3

二. 用法

1. 目的：

在日常运维中，需要整理要更新数据库的sql语句，往往会因为疏忽而有大量重复，这样会容易误操作，所以这个脚本就是为了sql去重。
2.

import re
readdir="C:\\Users\\user\\Desktop\\sql.txt"
#readdir为已写好的sql文件位置，后缀必须为txt
writedir1="C:\\Users\\user\\Desktop\\newsql.txt"
#write1dir1为去重后的sql的文件位置
writedir2="C:\\Users\\user\\Desktop\\oldsql.txt"
#write1dir2为重复的sql的文件位置
lines=set()
f1=open(writedir1,'w')
f2=open(writedir2,'w')
f3=open(readdir,'r')
for line in f3:a=re.search('USE `my`;',line,re.IGNORECASE)b=re.search('USE `my_log`;',line,re.IGNORECASE)c=re.search('USE `my_dzbl`;',line,re.IGNORECASE)d=re.search('USE `my_forum`;',line,re.IGNORECASE)e=re.search('USE `my_hds`;',line,re.IGNORECASE)f=re.search('USE `my_mall`;',line,re.IGNORECASE)g=re.search('USE `my_news`;',line,re.IGNORECASE)if a or b or c or d or e or f or g:f1.write(line)if line not in lines:f1.writelines(line)lines.add(line)
f3.close()
f3=open(readdir,'r')
d={}
for line2 in f3:d[line2] = d.get(line2,0) + 1
for k, v in d.items():if v == 2: f2.writelines(k)
f1.close()
f2.close()
f3.close()

此脚本还有其他版本：
Python之文本去重（最终版）：https://blog.csdn.net/weixin_42840933/article/details/86700429
Python之文本去重（进阶版）：https://blog.csdn.net/weixin_42840933/article/details/86605707

Python之文本去重（基础版）相关推荐

Python之文本去重（最终版）
import re readdir="C:\\Users\\user\\Desktop\\sql.txt" #readdir为已写好的sql文件位置,后缀必须为txt writed ...
用python语言实现反恐精英基础版-案例
""" 写了大概有1个多小时吧,中途多多少少都出现了一些bug,最终还是码出来,Talk is cheap, show me code!(屁话少说,放码过来) PS:Ma ...
反恐精英ol永恒python武器强化_用python语言实现反恐精英基础版-案例
""" 写了大概有1个多小时吧,中途多多少少都出现了一些bug,最终还是码出来,Talk is cheap, show me code!(屁话少说,放码过来) PS:Ma ...
python tkinter实现俄罗斯方块基础版——四、消除与得分
总目录一.基础界面二.界面动起来三.生成.移动.固定.消除四.消除与得分 ======================= 大爽歌作,made by big shuang =========== ...
python爬虫文本去重_Python微型异步爬虫框架
Amipy Python微型异步爬虫框架(A micro asynchronous Python website crawler framework) 基于Python 3.5 + 的异步async- ...
Python中文文本分析基础
文章目录一. 中文文本分析相关库 1. 中文分词jieba库 (1). jieba库概述 (2). jieba库安装 (3). jieba分词原理 (4). jieba库的使用说明 1. 精确模式 ...
python tkinter实现俄罗斯方块基础版 —— 五、后续优化
作者自我介绍:大爽歌, b站小UP主 ,直播编程+红警三 ,python1对1辅导老师 . 1 - 答评论问--卡顿优化之前做过python tkinter实现俄罗斯方块的教程: https://w ...
python实现实例_用python语言实现斗地主基础版-案例
Talk is cheap, show me code!(屁话少说,放码过来) """ 案例斗地主分析: 1.扑克牌作为对象呈现 2.创建未发牌的牌堆的列表 3.创建三个 ...
聊天室程序python_Python聊天室程序（基础版）
本文实例为大家分享了Python聊天室程序的具体代码,供大家参考,具体内容如下客户端代码: # Filename: socketClient.py import socket import sys ...
java 大数据文本去重_python实现文本去重且不打乱原本顺序
摘要:这篇Python开发技术栏目下的"python实现文本去重且不打乱原本顺序",介绍的技术点是"Python实现.Python.文本去重.去重.顺序.文本" ...

Python之文本去重（基础版）

一. 环境

二. 用法

1. 目的：

Python之文本去重（基础版）相关推荐

最新文章

热门文章