8种常用Python模块

前言
time模块
- 1.时间戳(timestamp)
- 2.格式化的时间字符串(Format String)
- 3.结构化的时间(struct time)
datetime模块
random模块
os模块
sys模块
序列化与反序列化模块
- json模块
- pickle模块
hashlib模块
logging模块

前言

在使用Python进行开发时，会经常使用到不同的模块来帮助我们完成某部分功能的实现，因此掌握一些常用模块的常用方式可以帮助我们加速程序开发。

time模块

在Python中通常有以下几种方式来表示时间:

1.时间戳(timestamp)

表示的是从1970年1月1日00:00:00开始按秒计算的偏移量，属于浮点型可以用来计算时间间隔。

>>> import time
>>> time.time()
1622362862.679771

2.格式化的时间字符串(Format String)

主要用来展示时间。

>>> import time
>>> time.strftime('%Y-%m-%d %H:%M:%S %p')  # Y-年份 m-月 d-日  H- 小时 M-分钟 S-秒  p-AM/PM
'2021-05-30 16:22:44 PM'# 上述代码可以简写，使用X表示时分秒
>>> time.strftime('%Y-%m-%d %X')
'2021-05-30 16:23:34'

3.结构化的时间(struct time)

>>> print(time.localtime()) #本地时区的struct_time
>>> print(time.gmtime())    #UTC时区的struct_time

在上述三种时间格式中，计算机能够识别的时间格式只有时间戳，而人类能够看懂的时间是格式化的时间字符串或者结构化时间，因此三者之间有转换关系。

1.时间戳—>结构化时间—>格式化时间

# 时间戳----结构化时间
import timetime1 = time.time()  # 时间戳
res = time.localtime(time1)  # 将时间戳转为结构化时间
print(res)# 结构化时间----格式化时间
res = time.localtime()  # # 获取结构化时间
time1 = time.strftime('%Y-%m-%d %X',res)  # 讲结构化时间转为格式化时间
print(time1)

2.格式化时间—>结构化时间—>时间戳

# 格式化时间---结构化时间
res = time.strftime('%Y-%m-%d %X',res)  # 获取格式化时间
print(res)time1 = time.strptime(res,'%Y-%m-%d %X')  # 格式化时间转成结构化时间
print(time1)# 结构化时间转成时间戳
res = time.localtime()  # 获取结构化时间
time1 = time.mktime(res)
print(time1)

datetime模块

datetime模块可以用来加减时间

import datetimeprint(datetime.datetime.now())  # 格式化输出时间
print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分

random模块

random模块可以用来生成随机数、随机验证码等功能。

import random
# 随机获取0-1之间的浮点数
print(random.random())# 随机获取大于等于1 小于等于6之间的整形数字
print(random.randint(1,6))# 随机获取大于等于1 小于6之间的整形数字
print(random.randrange(1,6))# 随机获得参数中的一个数据
print(random.choice((111,'aaa',456,[1234,'qq'])))# 指定元素个数自由组合，随机输出，当指定元素个数为1时，与choice作用相同
print(random.sample([111, 'aaa', 'ccc','ddd'],1))
print(random.sample([1,3,5,7,89,],3))# shuffle 打乱原列表的顺序
list1 = [1,2,3,5]
random.shuffle(list1)
print(list1)# 使用random模块生成验证码
def func(n=6):# 获取随机的26个大写英文字母，根据ASC码表al_A = chr(random.randint(65,90))# 获取随机的26个小写英文字母，根据ASC码表al_a = chr(random.randint(97,122))# 获取随机数字num = random.randint(0,9)# 生成随机验证码res = ''for i in range(n):res += random.choice([al_a,al_A,str(num)])return res

os模块

os模块提供了非常丰富的方法用来处理文件和目录，是一个非常大的与操作系统交互的模块，这里介绍常用的一些方法。

import osos.listdir(path)  # 获取某一个文件夹下的所有子文件夹名称以及文件名称
os.remove(path)  # 删除指定路径的文件
os.rename("oldname","newname")  # 重命名文件/目录
os.path.dirname(__file__)  # 获取当前文件所在的文件夹
os.path.basename(__file__)  # 获取当前文件的文件名字
os.path.split(path)  # 将path分割成目录和文件名二元组返回
os.path.exists(path)  # 如果path存在，返回True；如果path不存在，返回False
os.listdir('dirname')  # 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.mkdir('dirname')   # 在当前文件路径下生成单级目录
os.getcwd()  # 获取当前工作目录，即当前python脚本工作的目录路径
os.path.abspath(path)  # 返回path规范化的绝对路径
os.path.join('a','b')  # 对文件路径进行拼接

sys模块

sys.version       # 获取Python解释程序的版本信息
sys.path          # 返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform      # 返回操作系统平台名称

序列化与反序列化模块

json模块和pickle模块是用来序列化和反序列化数据的模块。

序列化指的是把内存的数据类型转换成一种特定的格式的内容，该格式的内容可用于存储或者传输给其他平台(其他编程语言)使用，反序列化就是将其他平台上的数据转换成python能够识别的数据格式。

序列化：
内存中的数据类型----》序列化----》特定的格式（json/pickle格式）
反序列化：
内存中的数据类型《----反序列化《----特定的格式（json/pickle格式）

数据进行序列化有两种用途：

其一，可以持久保存程序运行过程中产生的数据，将数据写到磁盘中。
其二，序列化之后，不仅可以把序列化后的内容写入磁盘，还可以通过网络传输到别的机器上，如果收发的双方约定好使用一种序列化的格式，那么便打破了平台/语言差异化带来的限制，实现了跨平台数据交互。

序列化和反序列化的操作可以借助json和pickle模块。

json模块

json格式的数据是所有编程语言通用的数据类型，如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为json格式，因为json格式表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。

但是json不能用于某种语言独有数据类型的序列化或者反序列化操作，比如python的集合类型。

还需要注意json格式的字符串与Python语法之间的区别，不要混淆了哟，比如json格式字符串是不支持单引号的，但是字典支持单引号哦~

import json# 序列化操作
res = json.dumps([1,2,3,4,True,False])
print('序列化结果',res)  # 序列化结果 [1, 2, 3, 4, true, false]，'true'/false---字符串类型
# 序列化结果可以存在文件中：复杂方法
with open('json.txt', 'w', encoding='utf-8') as f:f.write(res)# 将序列化的结果写入文件的简单方法：
with open('json.txt', 'w', encoding='utf-8') as f:json.dump([1,2,3,4,True,False],f)# 反序列化
res1 = json.loads(res)
print('反序列化',res1,type(res1))
# 将文件中的数据反序列化：复杂方法
with open('json.txt', 'r', encoding='utf -8') as f:json_res = f.read()res = json.loads(json_res)print(res)# 反序列化的简单方法
with open('json.txt', 'r', encoding='utf -8') as f:res = json.load(f)print(res,type(res))

pickle模块

pickle模块的用法与json模块用法相同，不同的是它只能用于python。可以序列化python独有的数据类型。

import pickle
# 序列化
res = pickle.dumps({1,2,3})
# 集合属于python独有的，使用pickle可以进行序列化
print(res)
# 反序列化
res1 = pickle.loads(res)
print(res)

hashlib模块

hash是一类算法，通过接收传入的内容，经过运算后得到一串hash值，hash值有以下特点：

只要传入的内容一样，得到的hash值必然一样；
不能由hash值返解成内容；
不管传入的内容有多大，只要使用的hash算法不变，得到的hash值长度一定；
基于以上特点，hash可以用来进行密码的传输与校验，经常使用的加密算法是md5。

import hashlibm = hashlib.md5()  # 相当于建造一个工厂，用来接收需要加密的数据
m.update('hello'.encode('utf-8'))  # 接收加密的数据
m.update('world'.encode('utf-8'))  # 可以多次接收加密的数据
res = m.hexdigest()   # 对需要加密的数据'helloworld'进行处理，得到加密后的结果
print(res)  # fc5e038d38a57032085441e7fe7010b0m1 = hashlib.md5('he'.encode('utf-8'))
m1.update('llo'.encode('utf-8'))
m1.update('w'.encode('utf-8'))
m1.update('orld'.encode('utf-8'))
res = m1.hexdigest()  # # 对需要加密的数据'helloworld'进行处理，得到加密后的结果
print(res)  # fc5e038d38a57032085441e7fe7010b0# 注意：把一段很长的数据update多次，与一次update这段长数据，得到的结果一样。

以上加密算法虽然不能反解，但是可以通过撞库进行反解，通过将猜测密码加密后与已知md5字符串进行比对进行反解，如下述代码：

cryptograph='aee949757a2e698417463d47acac93df'  # 已知的md5加密后的字符串
import hashlib# 制作密码字段
passwds=['asdfgh','asdfh66','asdfh6678'
]dic={}
for p in passwds:res=hashlib.md5(p.encode('utf-8'))dic[p]=res.hexdigest()# 模拟撞库得到密码
for k,v in dic.items():if v == cryptograph:print('撞库成功，明文密码是：%s' %k)break

因此可以对加密算法中添加自定义的key再进行加密，俗称加盐，加盐就可以提升撞库的成本。

import hashlibm = hashlib.md5()m.update('天王'.encode('utf-8'))
m.update('hello'.encode('utf-8'))
m.update('盖地虎'.encode('utf-8'))
m.update('world'.encode('utf-8'))
print(m.hexdigest()

logging模块

logging模块可以用来记录程序运行的日志，日志在程序开发中是非常重要的部分，在线上生产环境或者在测试环境中可以通过日志来查看程序运行是否正常，如果程序异常，可以通过日志快速定位到异常的代码位置，因此记录日志需要尽可能的详细，在python开发中可以借助logging模块记录日志。

import logging# 数字大小代表不同等级
CRITICAL = 50
ERROR = 40
WARNING = 30
INFO = 20
DEBUG = 10
NOTSET = 0 logging.debug('调试debug')
logging.info('消息info')
logging.warning('警告warn')
logging.error('错误error')
logging.critical('严重critical')'''
WARNING:root:警告warn
ERROR:root:错误error
CRITICAL:root:严重critical
'''

默认warning及以上级别的日志(waring error critical)可以输出到终端上，日志应该记录在文件中方便查看，可以为logging模块通过logging.basicConfig()指定全局配置，可以将日志保存到文件中。

import logginglogging.basicConfig(filename='test.log',format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',datefmt='%Y-%m-%d %H:%M:%S %p',level=10)上述参数及其他未用到的参数介绍如下：
filename：用指定的文件名创建FiledHandler，用来打印到文件中
datefmt：指定日期时间格式。
level：根据数字设置的日志级别format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

logging模块在使用过程中，需要用到Formatter，Handler，Logger，Filter对象：

logger：产生日志的对象；

Filter：过滤日志的对象，不常用；

Handler：接收日志然后控制打印到不同的地方，FileHandler用来打印到文件中，StreamHandler用来打印到终端；

Formatter对象：可以定制不同的日志格式对象，然后绑定给不同的Handler对象使用，以此来控制不同的Handler的日志格式。

上面说了这么多，到底如何在python的项目中使用logging模块记录日志呢？在项目开发中，只需要记住下面的用法就OK了。

首先，在项目的配置文件(settings.py)中对日志格式进行配置：

# settings.py# 日志文件
LOG_PATH = os.path.join(BASE_DIR,'log')
LOG_UER_PATH = os.path.join(LOG_PATH,'access.log')# 定义三种日志输出格式
standard_format = '%(asctime)s - %(threadName)s:%(thread)d - 日志名字:%(name)s - %(filename)s:%(lineno)d -' \'%(levelname)s - %(message)s'simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'test_format = '%(asctime)s] %(message)s'# 日志配置字典
LOGGING_DIC = {'version': 1,'disable_existing_loggers': False,'formatters': {'standard': {'format': standard_format},'simple': {'format': simple_format},'test': {'format': test_format},},'filters': {},# handlers是日志的接收者，不同的handler会将日志输出到不同的位置'handlers': {#打印到终端的日志'console': {'level': 'DEBUG','class': 'logging.StreamHandler',  # 打印到屏幕'formatter': 'simple'},'default': {'level': 'DEBUG','class': 'logging.handlers.RotatingFileHandler',  # 保存到文件# 'maxBytes': 1024*1024*5,  # 日志大小 5M# 'maxBytes': 1000,# 'backupCount': 5,'filename': LOG_UER_PATH,  # os.path.join(os.path.dirname(os.path.dirname(__file__)),'log','a2.log')'encoding': 'utf-8','formatter': 'standard',},#打印到文件的日志,收集info及以上的日志'other': {'level': 'DEBUG','class': 'logging.FileHandler',  # 保存到文件'filename': LOG_UER_PATH, # os.path.join(os.path.dirname(os.path.dirname(__file__)),'log','a2.log')'encoding': 'utf-8','formatter': 'test',},},# loggers是日志的产生者，产生的日志会传递给handler然后控制输出'loggers': {# logging.getLogger(__name__)拿到的logger配置，如果我们想要不同logger名的logger对象都共用一段配置，那么肯定不能在loggers子字典中定义n个key ，解决方式就是定义一个空的key,这样我们再取logger对象时logging.getLogger(__name__)，不同的文件__name__不同，这保证了打印日志时标识信息不同，但是拿着该名字去loggers里找key名时却发现找不到，于是默认使用key=''的配置'': {'handlers': ['default', ],  # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕'level': 'DEBUG',  # loggers(第一层日志级别关限制)--->handlers(第二层日志级别关卡限制)'propagate': False,  # 默认为True，向上（更高level的logger）传递，通常设置为False即可，否则会一份日志向上层层传递},},
}

然后，在其他文件中使用logging模块记录日志:

# test.py# logging是一个包，需要使用其下的config、getLogger
from logging import config
from logging import getLogger# 加载日志字典配置
logging.config.dictConfig(settings.LOGGING_DIC)# 生成日志对象
logger = logging.getLogger('test')# 记录日志
logger.info('记录一条日志')

logging模块看起来非常复杂，但是使用起来按照上面的方式，在项目开发的时候，只需要拷贝过去使用就可以了。

最后，感谢您的阅读。您的每个点赞、留言、分享都是对我们最大的鼓励，笔芯～

如有疑问，欢迎在评论区一起讨论！

想做Python开发，这8种常用Python模块，你必须得知道！相关推荐

【转】在 2016 年做 PHP 开发是一种什么样的体验？（一）
原文: https://www.v2ex.com/t/312651 在 2016 年做 PHP 开发是一种什么样的体验?(一) 嘿,我最近接到一个网站开发的项目,不过老实说,我这两年没怎么接触编程,听 ...
想做分布式开发，需要懂哪些技术？
[阅读建议]文章多处链接别处详细文章,客观莫急建议先把文章总体阅读完毕后,再点进去慢慢品味具体细节点,阅读本文大概需要10分2秒. 目录一.前言二.分布式篇 1 这个技术框架,它是什么东西? 2 ...
想做web开发就学JavaScript
想做web开发就学JavaScript 有一天我被问到,为了快速地在 web 开发工作上增加优势,应该学习什么语言.我的思绪回到了大学,那时候我用 Pascal.Fortran.C和汇编语言,不 ...
写给那些傻傻的，想做服务器开发的应届生
前言猿题库刚刚结束了北京地区的大规模校园招聘,国庆之后打算转战外地进行校招.我本人深度参与了此次的校招工作,包括笔试题命题.面试题命题以及具体的面试工作. 我在面试中发现了一个非常有意思的现象,就是 ...
想做硬件开发的人员必看
转眼间,已经毕业一年了,在这一年中经历了很多,工作已经换了两个了,住的地方好像已经换了两三个了,这中间不包括跨地区生活.  我刚大四的时候,应聘一家网络公司做硬件开发,03年的时刚过完年,我就千里 ...
想做游戏开发？Unity3D值得你了解一下！
很多人爱玩游戏,也有很多人想制作属于自己的游戏. 炫酷场景.角色设定.极佳的游戏体验.丰富的社交活动,好玩的游戏总有属于它本身的独特吸引力. 论移动端游戏引擎最瞩目的还是属于虚幻引擎4和Unity3D ...
写给那些傻傻想做服务器开发的朋友
这篇博客原作者的博客链接:https://blog.csdn.net/analogous_love 写在前面的话我在七八年前就看过这篇文章,那个时候我还是一名学生,它深深地影响了我学生时代以及后来的 ...
[猿来小课]Python开发入门第三讲：Python的安装
今天猿来小课的老师给想要学习python开发语言的同学们讲一讲Python的安装,手把手带着大家完成学习python开发第一步.有条件的小伙伴跟着我一起来实战操作吧. 猿来Python开发入门第三讲: ...
python开发软件-七种流行的python开发软件，收藏了！
Python的应用无处不在,各种流行软件都有Python的身影.相比起最流行的Java.C/C++等语言,Python语言更加简洁,开发更加快速,这对于初学者非常友好,而且Python作为脚本语言,更 ...

想做Python开发，这8种常用Python模块，你必须得知道！