第九章 常用模块(续)
1.序列化模块
1.1 什么叫序列化
例:有一个班级信息字典{'10010000':{'name':'zhangsan', 'age':22, 'class':'python21'},...},在程序结束后需要保存,而在python中只有字符串能保存到文件中。再次使用字典的时候,可以使用eval转化,但是非常不安全,所以引入了序列化
序列化就是 数据类型转化成字符串的过程 -- 数据类型 --> 字符串的过程
字符串化也叫做序列化
1.2 为什么要用序列化呢?(固态存储、网络传输)
数据从内存到文件
数据在网络上传输,在网线上能够传递的只有 010101 -- 字节 -- 字符串 -- 字典
1.3 python中的序列化模块都有哪些?
json 通用的 支持的数据类型 list tuple dict
pickle 在python中通用的 支持几乎所有python中的数据类型
shelve 在py3种不是很好用,在python中使用的便捷的序列化工具
2.json模块
基于内存的操作
import json dic = {'k': 'v'} # 基于内存的操作(和内存交互的) print(type(dic)) # <class 'dict'> json_dic = json.dumps(dic) # 所有引号都会变成双引号字典 转化成字符串的过程 -- 序列化 print(json_dic) # {"k": "v"} print(dic) # {'k': 'v'} print(type(json_dic)) # <class 'str'> print(json.loads(json_dic)) # 字符串 转回其他数据类型的过程 -- 反序列化 # {'k': 'v'}
基于文件的操作
# 基于文件的操作 import json dic = {'k': 'v'} # 写入文件 with open('d', 'w') as f:json.dump(dic, f) #dump是和文件交互的# 查看文件 with open('d') as f:print(json.load(f)) # 从文件中反序列化 # {'k': 'v'}# 如果要dump多条数据 # 每一条数据dumps一下 编辑成字符串,然后打开文件 write写进文件里 \n # 读取的时候按照标志读取或者按行读 # 读出来之后 在使用loads with open('aaa', 'w') as f:str_dic = json.dumps(dic)f.write(str_dic + '\n')f.write(str_dic + '\n')f.write(str_dic + '\n')f.write(str_dic + '\n') # cat aaa # {"k": "v"} # {"k": "v"} # {"k": "v"} # {"k": "v"} with open('aaa') as f:for line in f:print(json.loads(line.strip())) # {'k': 'v'} # {'k': 'v'} # {'k': 'v'} # {'k': 'v'}
3.pickle模块
pickle模块的基本用法很json模块相同
import pickle # pickle看不到转码后的内容 class A:def __init__(self, name):self.name = namealex = A('alex') # json.dumps(alex) # 支持的数据类型有限 # TypeError: Object of type 'A' is not JSON serializable print(pickle.dumps(alex)) # b'\x80\x03c__main__\nA\nq\x00)\x81q\x01}q\x02X\x04\x00\x00\x00nameq\x03X\x04\x00\x00\x00alexq\x04sb.'
基于文件的操作
pickle模块相对json模块的优势一:支持几乎所有python中的数据类型
with open('bbb', 'wb') as f:pickle.dump(alex, f)with open('bbb', 'rb') as f:print(pickle.load(f)) # <__main__.A object at 0x00000159473C5940> with open('bbb', 'rb') as f:obj = pickle.load(f)print(obj.name) # alex
pickle模块相对json模块的优势二:多次load内容比较简单
# 多次写入文件 with open('bbb', 'wb') as f:pickle.dump(alex, f)pickle.dump(alex, f)pickle.dump(alex, f)pickle.dump(alex, f)# 多次读取内容 with open('bbb', 'rb') as f:try:while True:obj = pickle.load(f)print(obj.name)except EOFError:pass # alex # alex # alex # alex
总结:
1.pickle支持更多的数据类型
2.pickle的结果是二进制
3.pickle在和文件交互的时候可以被多次load
4.hashlib摘要算法模块
Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。
什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。
摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest,目的是为了发现原始数据是否被人篡改过。
摘要算法之所以能指出数据是否被篡改过,就是因为摘要函数是一个单向函数,计算f(data)很容易,但通过digest反推data却非常困难。而且,对原始数据做一个bit的修改,都会导致计算出的摘要完全不同。
最常使用的两种算法sha/md5
4.1 使用hashlib模块获取字符串的MD5值
import hashlib# 例:使用hashlib模块获取字符串的md5值 md5obj = hashlib.md5() # 实例化一个MD5摘要算法的对象 md5obj.update('alex3714'.encode('utf-8')) # 使用md5算法的对象来操作字符串(bytes类型) ret = md5obj.hexdigest() ## 获取算法的结果 hex + digest 16进制+消化 print(ret, type(ret), len(ret)) # aee949757a2e698417463d47acac93df <class 'str'> 32
4.2 使用hashlib模块获取字符串的sha值
# sha算法,后面的数字越大,结果越长 md5obj = hashlib.sha256() # 实例化一个sha摘要算法的对象 md5obj.update('alex3714'.encode('utf-8')) # 使用sha算法的对象来操作字符串(bytes类型) ret = md5obj.hexdigest() ## 获取算法的结果 hex + digest 16进制+消化 print(ret, type(ret), len(ret)) #sha1 8a003668a9c990f15148f9e4046e1410781533b6 <class 'str'> 40 #sha256 1e1c67170a2136ba7e18ffee2461fdbcdcf0884d9d9d005d4ab8c8733a15f8ab <class 'str'> 64
4.3 高级用法 -- 加盐
# 例:使用md5算法进行加密认证 md5obj = hashlib.md5('tesla'.encode('utf-8')) # 加盐过程 md5obj.update('alex3714'.encode('utf-8')) # 使用md5算法的对象来操作字符串(bytes类型) ret = md5obj.hexdigest() ## 获取算法的结果 hex + digest 16进制+消化 print(ret, type(ret), len(ret)) # aee949757a2e698417463d47acac93df <class 'str'> 32 # 加盐前 # 7dafaec086d0ddae18b63e4fffafbf8e <class 'str'> 32 # 加盐后
动态加盐
# 动态加盐 -- 有些网站,一旦注册了,用户名就不能更改了,原因是用户名当盐 username = 'alex' md5obj = hashlib.md5(username.encode('utf-8')) # 加盐过程 md5obj.update('alex3714'.encode('utf-8')) # 使用md5算法的对象来操作字符串(bits类型) ret = md5obj.hexdigest() ## 获取算法的结果 hex + digest 16进制+消化 print(ret, type(ret), len(ret)) # ee838c58e5bb3c9e687065edd0ec454f <class 'str'> 32
4.4 校验文件的一致性
# 校验文件的一致性 # 自动化 -- python代码来做验证 md5obj = hashlib.md5() # 实例化一个MD5摘要算法的对象 md5obj.update('alex3714'.encode('utf-8')) #使用md5算法的对象来操作字符串(bytes类型) print(md5obj.hexdigest()) # aee949757a2e698417463d47acac93df md5obj = hashlib.md5() md5obj.update('alex'.encode('utf-8')) md5obj.update('3714'.encode('utf-8')) #使用md5算法的对象来操作字符串(bytes类型) print(md5obj.hexdigest()) # aee949757a2e698417463d47acac93df # 说明:分多次对同一个字符串进行摘要和一次性对这个字符串的摘要的结果是相同的
5.configparser模块 -- ini配置文件
该模块适用于配置文件的格式与windows ini文件类似,可以包含一个或多个节(section),每个节可以有多个参数(键=值)。
5.1 配置文件格式
[DEFAULT] ServerAliveInterval = 45 Compression = yes CompressionLevel = 9 ForwardX11 = yes[bitbucket.org] User = hg[topsecret.server.com] Port = 50022 ForwardX11 = no
5.2 写入文件范例
import configparser# 实例化config对象 config = configparser.ConfigParser()# 给config添加内容 # []内为配置文件内的组名 # 后面的字典为组内配置的键值对 config["DEFAULT"] = {'ServerAliveInterval': '45','Compression': 'yes','CompressionLevel': '9','ForwardX11':'yes'}config['bitbucket.org'] = {'User':'hg'}config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}with open('example.ini', 'w') as configfile:# 使用config的方法将相应配置,写入文件config.write(configfile)
5.3 查找文件
import configparserconfig = configparser.ConfigParser()#---------------------------查找文件内容,基于字典的形式print(config.sections()) # [] config.read('example.ini')print(config.sections()) # ['bitbucket.org', 'topsecret.server.com']print('bytebong.com' in config) # False print('bitbucket.org' in config) # Trueprint(config['bitbucket.org']["user"]) # hgprint(config['DEFAULT']['Compression']) #yesprint(config['topsecret.server.com']['ForwardX11']) #noprint(config['bitbucket.org']) #<Section: bitbucket.org>for key in config['bitbucket.org']: # 注意,有default会默认default的键print(key)print(config.options('bitbucket.org')) # 同for循环,找到'bitbucket.org'下所有键print(config.items('bitbucket.org')) #找到'bitbucket.org'下所有键值对print(config.get('bitbucket.org','compression')) # yes get方法Section下的key对应的value
5.4 增删改操作
import configparserconfig = configparser.ConfigParser()config.read('example.ini')config.add_section('yuan')config.remove_section('bitbucket.org') config.remove_option('topsecret.server.com',"forwardx11")config.set('topsecret.server.com','k1','11111') config.set('yuan','k2','22222')config.write(open('new2.ini', "w"))
7.logging模块
7.1 默认情况下Python的logging模块将日志打印到了标准输出中,且只显示了大于等于WARNING级别的日志,这说明默认的日志级别设置为WARNING(日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG),默认的日志格式为日志级别:Logger名称:用户输出消息。
日志级别
logging.debug('debug message') # 非常细节的日志 -- 排查错误的时候使用 # DEBUG:root:debug message logging.info('info message') # 正常的日志信息 # INFO:root:info message logging.warning('warning message') # 警告,出现错误,但是程序可以正常运行 # WARNING:root:warning message logging.error('error message') # 错误 # ERROR:root:error message logging.critical('critical message') # 严重错误,程序只能重启才能正常运行 # CRITICAL:root:critical message
7.2 格式化输出
灵活配置日志级别,日志格式,输出位置
logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有:filename:用指定的文件名创建FiledHandler,这样日志会被存储在指定的文件中。 filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。 format:指定handler使用的日志显示格式。 datefmt:指定日期时间格式。 level:设置rootlogger(后边会讲解具体概念)的日志级别 stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’)),默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。format参数中可能用到的格式化串: %(name)s Logger的名字 %(levelno)s 数字形式的日志级别 %(levelname)s 文本形式的日志级别 %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有 %(filename)s 调用日志输出函数的模块的文件名 %(module)s 调用日志输出函数的模块名 %(funcName)s 调用日志输出函数的函数名 %(lineno)d 调用日志输出函数的语句所在的代码行 %(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示 %(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数 %(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 %(thread)d 线程ID。可能没有 %(threadName)s 线程名。可能没有 %(process)d 进程ID。可能没有 %(message)s用户输出的消息
format添加格式
# 灵活配置日志级别,日志格式,输出位置: # format添加格式 logging.basicConfig(level=logging.DEBUG,format=('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')) # 默认包含warning及以上的信息 logging.debug('debug message') # 非常细节的日志 -- 排查错误的时候使用 logging.info('info message') # 正常的日志信息 logging.warning('warning message') # 警告,出现错误,但是程序可以正常运行 logging.error('error message') # 错误 logging.critical('critical message') # 严重错误,程序只能重启才能正常运行 # 2018-05-24 22:36:02,509 07 logging模块.py[line:27] DEBUG debug message # 2018-05-24 22:36:02,509 07 logging模块.py[line:28] INFO info message # 2018-05-24 22:36:02,510 07 logging模块.py[line:29] WARNING warning message # 2018-05-24 22:36:02,510 07 logging模块.py[line:30] ERROR error message # 2018-05-24 22:36:02,510 07 logging模块.py[line:31] CRITICAL critical message
datefmt更改日期格式
# datefmt更改日期格式 logging.basicConfig(level=logging.DEBUG,format=('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'),datefmt = '%a, %d %b %Y %H:%M:%S') logging.debug('debug message') # 非常细节的日志 -- 排查错误的时候使用 logging.info('info message') # 正常的日志信息 logging.warning('warning message') # 警告,出现错误,但是程序可以正常运行 logging.error('error message') # 错误 logging.critical('critical message') # 严重错误,程序只能重启才能正常运行 # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:11] DEBUG debug message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:13] INFO info message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:15] WARNING warning message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:17] ERROR error message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:19] CRITICAL critical message
filename添加日志文件,filemode添加写入文件格式a-追加,w-写入
# filename添加日志文件,filemode文件打开方式a追加,w写入 logging.basicConfig(level=logging.DEBUG,format=('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'),datefmt = '%a, %d %b %Y %H:%M:%S',filename='test.log',filemode='w') logging.debug('debug message') # 非常细节的日志 -- 排查错误的时候使用 logging.info('info message') # 正常的日志信息 logging.warning('warning message') # 警告,出现错误,但是程序可以正常运行 logging.error('error message') # 错误 logging.critical('critical message') # 严重错误,程序只能重启才能正常运行 # test.log文件内容 # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:11] DEBUG debug message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:13] INFO info message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:15] WARNING warning message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:17] ERROR error message # Sun, 20 May 2018 16:18:20 07 logging模块.py[line:19] CRITICAL critical message
7.3 logger对象的配置
import logging # logger对象的方式配置 logger = logging.getLogger() # 吸星大法# 先创造一个格式 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') formatter1 = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s') # 往文件中输入 handler处理文件 fh = logging.FileHandler(filename='log.log') # 创造了一个能操作文件的对象fh fh.setFormatter(formatter) # 高可定制化 logger.addHandler(fh)# 往屏幕输出 sh = logging.StreamHandler() sh.setFormatter(formatter1) # 高可定制化 logger.addHandler(sh)fh.setLevel(logging.ERROR) # 定义输出的最低日志级别 sh.setLevel(logging.DEBUG)logging.debug('debug message') # 非常细节的日志 -- 排查错误的时候使用 logging.info('info message') # 正常的日志信息 logging.warning('warning message') # 警告,出现错误,但是程序可以正常运行 logging.error('error message') # 错误 logging.critical('critical message') # 严重错误,程序只能重启才能正常运行# fh # 2018-05-24 22:51:42,426 - root - ERROR - error message # 2018-05-24 22:51:42,426 - root - CRITICAL - critical message # sh # 2018-05-24 22:50:39,370 - WARNING - warning message # 2018-05-24 22:50:39,370 - ERROR - error message # 2018-05-24 22:50:39,370 - CRITICAL - critical message# 说明:logging库提供了多个组件:Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口,Handler发送日志到适当的目的地,Filter提供了过滤日志信息的方法,Formatter指定日志显示格式。另外,可以通过:logger.setLevel(logging.Debug)设置级别,当然,也可以通过 # fh.setLevel(logging.Debug)单对文件流设置某个级别。
转载于:https://www.cnblogs.com/gongniue/p/9077570.html
第九章 常用模块(续)相关推荐
- ansible自动化运维详解(三)ansible常用模块续
文章目录 ansible自动化运维详解(三)ansible常用模块续 四.ansible常用模块(2) 4.10.yum_repository 4.11.dnf 4.12.service 及 fire ...
- 第二模块(函数编程(极速版))-第二章-常用模块
系列文章目录 基础常用模块 文章目录 系列文章目录 前言 一.模块介绍与导入 1.什么是模块 2.模块的好处 3.模块的分类 4.导入方式 5.自定义模块 6.查找路径 二.第三方开源模块的安装使用 ...
- python中常用的序列化模块_第六章 常用模块(5):python常用模块(序列化模块:pickle,json,shelve,xml)...
6.3.7 序列化模块 (pickle,json,shelve,xml) 文件写入,数据传输时,我们都是以字符串形式写入的(因为字符串可以encode成bytes). 那其他类型(比如字典,列表等)想 ...
- python全栈开发中级班全程笔记(第二模块、第四章)(常用模块导入)
python全栈开发笔记第二模块 第四章 :常用模块(第二部分) 一.os 模块的 详解 1.os.getcwd() :得到当前工作目录,即当前python解释器所在目录路径 impor ...
- 第四章 Python常用模块
第四章 常用模块 4.1 模块介绍 4.1.1 模块及其好处 随着我们代码写的越来越多,功能越来越复杂,我们发在一个文件里维护就比较麻烦.所以我们就把不同的代码放在不同的py文件里,比如我们把连接数据 ...
- 第九章 java常用类
9.1 包装类 Java是一种面向对象的语言,但在Java中不能定义基本数据类型的对象,为了能将基本数据类型视为对象进行处理,Java 提出了包装类的概念,它主要是将基本数据类型封装在包装类中,如in ...
- 第三章、Ansible常用模块—新手快速入门
第三章.Ansible常用模块--新手快速入门 文章目录 一. 查看系统上安装的所有模块 二.ansible常用模块 1.常用模块之–USER 2.常用模块之–shell 3.常用模块之–copy 4 ...
- Python计算机视觉:第九章 图像分割
第九章 图像分割 9.1 更新用户 9.1.1 编辑表单 9.1.2 编辑失败 9.1.3 编辑成功 9.2 权限限制 9.2.1 必须先登录 9.2.2 用户只能编辑自己的资料 9.2.3 更友好的 ...
- 《Reids 设计与实现》第九章 事件
<Reids 设计与实现>第九章 事件 文章目录 <Reids 设计与实现>第九章 事件 一.简介 二.文件事件 1.文件事件处理器的构成 2.I/O 多路复用程序的实现 3. ...
最新文章
- Java合并两个int数组合并_Java中如何把两个数组合并为一个
- spring MVC项目中,欢迎页首页根路径
- python3 多进程库 multiprocessing 使用简介
- 分享个人预算系统源码(含说明文档)
- tkmybatis 子查询_日均20亿流量:携程机票查询系统的架构升级
- BUG: Setup Was Unable to Create a DCOM User Account Error Message in Visual Studio 6.0
- C++函数指针使用示例
- 中国顶级程序员有多牛?一个弄哭韩国,一个堪称阿里“扫地僧”
- EJS脚本中MD5应用
- 基于TADK的SQLI检测
- C++ 酒店管理系统
- 个人空间岁末大回报活动12月21日获奖名单
- Adobe Audition CC 2019 下载安装教程
- TensorFlow神经网络学习笔记
- 小程序源码:(自营)独家最新款带部分采集功能壁纸/头像/动态壁纸小程序上线超炫裂变超强支持投稿+视频教程
- Excel将多行文本合并一行:phonetic函数
- 华为OD机试题,用 Java 解【自动曝光】问题 | 含解题说明
- 【文献翻译】构建网络安全知识库的框架-A Framework to Construct Knowledge Base for Cyber Security
- 修炼打工皇帝不得不学的三招
- 2020 Deep Learning for Sensor-based Human ActivityRecognition Overview, Challenges and Opportunities
热门文章
- Git笔记(三)——[cherry-pick, merge, rebase]
- Spring MVC中的二三事
- Java Number 类
- 分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain
- 鸟哥的Linux私房菜(基础篇)- 第六章、Linux 的文件权限与目录配置
- UiBot新版本即将上线!添加Java程序支持!
- 遍历Newtonsoft.Json.Linq.JObject
- 《Web前端工程师修炼之道(原书第4版)》——我该从哪里开始呢
- 邮件:事务失败。 服务器响应为:DT:SPM 163 smtp
- Selenium2Lib库之输入常用关键字实战