Python自动化运维之常用模块—logging
在现实生活中,记录日志非常重要。银行转账时会有转账记录;如果有出现什么问题,人们可以通过日志数据来搞清楚到底发生了什么。
对于系统开发、调试以及运行,记录日志都是同样的重要。如果没有日志记录,程序崩溃时你几乎就没办法弄明白到底发生了什么事情。
1、简单使用
import logging logging.debug('debug message') logging.info('info message') logging.warn('warn message') logging.error('error message') logging.critical('critical message')
执行结果:
WARNING:root:warn message ERROR:root:error message CRITICAL:root:critical message
默认情况下,logging模块将日志打印到屏幕上(stdout),日志级别为WARNING(即只有日志级别高于WARNING的日志信息才会输出),日志格式如下图所示:
1.1 日志级别
级别 |
数字形式 |
何时使用 |
DEBUG |
10 |
详细信息,典型地调试问题时会感兴趣。 |
INFO |
20 |
证明事情按预期工作。 |
WARNING |
30 |
表明发生了一些意外,或者不久的将来会发生问题(如‘磁盘满了’)。软件还是在正常工作。 |
ERROR |
40 |
由于更严重的问题 |
CRITICAL |
50 |
严重错误,表明软件已,软件已不能执行一些功能了。不能继续运行了。 |
NOSET |
0 |
getattr(日志、记录级。upper()) |
1.2 简单配置
import logging # 通过下面的方式进行简单配置输出方式与日志级别 logging.basicConfig(filename='logger.log', level=logging.INFO) logging.debug('debug message') logging.info('info message') logging.warn('warn message') logging.error('error message') logging.critical('critical message')
执行结果:
标准输出(屏幕)未显示任何信息,发现当前工作目录下生成了logger.log,内容如下:
INFO:root:info message WARNING:root:warn message ERROR:root:error message CRITICAL:root:critical message
因为通过level=logging.INFO设置日志级别为INFO,所以所有的日志信息均输出出来了。
2、重要的概念
Logger 记录器,暴露了应用程序代码能直接使用的接口。
Handler 处理器,将(记录器产生的)日志记录发送至合适的目的地。
Filter 过滤器,提供了更好的粒度控制,它可以决定输出哪些日志记录。
Formatter 格式化器,指明了最终输出中日志记录的布局。
1.2.1 Logger 记录器
Logger是一个树形层级结构,在使用接口debug,info,warn,error,critical之前必须创建Logger实例,即创建一个记录器,如果没有显式的进行创建,则默认创建一个root logger,并应用默认的日志级别(WARN),处理器Handler(StreamHandler,即将日志信息打印输出在标准输出上),和格式化器Formatter(默认的格式即为第一个简单使用程序中输出的格式)。
创建方法: logger = logging.getLogger(logger_name)
创建Logger实例后,可以使用以下方法进行日志级别设置,增加处理器Handler。
logger.setLevel(logging.ERROR) # 设置日志级别为ERROR,即只有日志级别大于等于ERROR的日志才会输出
logger.addHandler(handler_name) # 为Logger实例增加一个处理器 logger.removeHandler(handler_name) # 为Logger实例删除一个处理器
2.2 Handler 处理器
Handler处理器类型有很多种,比较常用的有三个,StreamHandler,FileHandler,NullHandler,详情可以访问Python logging.handlers
创建StreamHandler之后,可以通过使用以下方法设置日志级别,设置格式化器Formatter,增加或删除过滤器Filter。
ch.setLevel(logging.WARN) # 指定日志级别,低于WARN级别的日志将被忽略 ch.setFormatter(formatter_name) # 设置一个格式化器formatter ch.addFilter(filter_name) # 增加一个过滤器,可以增加多个 ch.removeFilter(filter_name) # 删除一个过滤器
StreamHandler
创建方法: sh = logging.StreamHandler(stream=None)
FileHandler
创建方法: fh = logging.FileHandler(filename, mode='a', encoding=None, delay=False)
NullHandler
NullHandler类位于核心logging包,不做任何的格式化或者输出。本质上它是个“什么都不做”的handler,由库开发者使用。
2.3 Formatter 格式化器
使用Formatter对象设置日志信息最后的规则、结构和内容,默认的时间格式为%Y-%m-%d %H:%M:%S。
创建方法: formatter = logging.Formatter(fmt=None, datefmt=None)
其中,fmt是消息的格式化字符串,datefmt是日期字符串。如果不指明fmt,将使用'%(message)s'。如果不指明datefmt,将使用ISO8601日期格式。
2.4 Filter 过滤器
Handlers和Loggers可以使用Filters来完成比级别更复杂的过滤。Filter基类只允许特定Logger层次以下的事件。例如用‘A.B’初始化的Filter允许Logger ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’等记录的事件,logger‘A.BB’, ‘B.A.B’ 等就不行。 如果用空字符串来初始化,所有的事件都接受。
创建方法: filter = logging.Filter(name='')
以下是相关概念总结:
熟悉了这些概念之后,有另外一个比较重要的事情必须清楚,即Logger是一个树形层级结构;Logger可以包含一个或多个Handler和Filter,即Logger与Handler或Fitler是一对多的关系;
一个Logger实例可以新增多个Handler,一个Handler可以新增多个格式化器或多个过滤器,而且日志级别将会继承。
3、Logging工作流程
第一次导入logging模块或使用reload函数重新导入logging模块,logging模块中的代码将被执行,这个过程中将产生logging日志系统的默认配置。
自定义配置(可选)。logging标准模块支持三种配置方式: dictConfig,fileConfig,listen。其中,dictConfig是通过一个字典进行配置Logger,Handler,Filter,Formatter;fileConfig则是通过一个文件进行配置;而listen则监听一个网络端口,通过接收网络数据来进行配置。当然,除了以上集体化配置外,也可以直接调用Logger,Handler等对象中的方法在代码中来显式配置。
使用logging模块的全局作用域中的getLogger函数来得到一个Logger对象实例(其参数即是一个字符串,表示Logger对象实例的名字,即通过该名字来得到相应的Logger对象实例)。
使用Logger对象中的debug,info,error,warn,critical等方法记录日志信息。
4、logging模块使用过程
4.1 logging模块处理流程
判断日志的等级是否大于Logger对象的等级,如果大于,则往下执行,否则,流程结束。
产生日志。第一步,判断是否有异常,如果有,则添加异常信息。第二步,处理日志记录方法(如debug,info等)中的占位符,即一般的字符串格式化处理。
使用注册到Logger对象中的Filters进行过滤。如果有多个过滤器,则依次过滤;只要有一个过滤器返回假,则过滤结束,且该日志信息将丢弃,不再处理,而处理流程也至此结束。否则,处理流程往下执行。
在当前Logger对象中查找Handlers,如果找不到任何Handler,则往上到该Logger对象的父Logger中查找;如果找到一个或多个Handler,则依次用Handler来处理日志信息。但在每个Handler处理日志信息过程中,会首先判断日志信息的等级是否大于该Handler的等级,如果大于,则往下执行(由Logger对象进入Handler对象中),否则,处理流程结束。
执行Handler对象中的filter方法,该方法会依次执行注册到该Handler对象中的Filter。如果有一个Filter判断该日志信息为假,则此后的所有Filter都不再执行,而直接将该日志信息丢弃,处理流程结束。
使用Formatter类格式化最终的输出结果。 注:Formatter同上述第2步的字符串格式化不同,它会添加额外的信息,比如日志产生的时间,产生日志的源代码所在的源文件的路径等等。
真正地输出日志信息(到网络,文件,终端,邮件等)。至于输出到哪个目的地,由Handler的种类来决定。
注:以上内容摘抄自第三条参考资料,内容略有改动,转载特此声明。
5、日志配置
5.1 配置方式
显式创建记录器Logger、处理器Handler和格式化器Formatter,并进行相关设置;
通过简单方式进行配置,使用basicConfig()函数直接进行配置;
通过配置文件进行配置,使用fileConfig()函数读取配置文件;
通过配置字典进行配置,使用dictConfig()函数读取配置信息;
通过网络进行配置,使用listen()函数进行网络配置。
5.2 basicConfig关键字参数
关键字 |
描述 |
filename |
创建一个FileHandler,使用指定的文件名,而不是使用StreamHandler。 |
filemode |
如果指明了文件名,指明打开文件的模式(如果没有指明filemode,默认为'a')。 |
format |
handler使用指明的格式化字符串。 |
datefmt |
使用指明的日期/时间格式。 |
level |
指明根logger的级别。 |
stream |
使用指明的流来初始化StreamHandler。该参数与'filename'不兼容,如果两个都有,'stream'被忽略。 |
5.3 有用的format格式
格式 |
描述 |
%(name)s |
Logger的名字 |
%(levelno)s |
数字形式的日志级别 |
%(levelname)s |
文本形式的日志级别 |
%(pathname)s |
调用日志输出函数的模块的完整路径名,可能没有 |
%(filename)s |
调用日志输出函数的模块的文件名 |
%(module)s |
调用日志输出函数的模块名 |
%(funcName)s |
调用日志输出函数的函数名 |
%(lineno)d |
调用日志输出函数的语句所在的代码行 |
%(created)f |
当前时间,用UNIX标准的表示时间的浮 点数表示 |
%(relativeCreated)d |
输出日志信息时的,自Logger创建以 来的毫秒数 |
%(asctime)s |
字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 |
%(thread)d |
线程ID。可能没有 |
%(threadName)s |
线程名。可能没有 |
%(process)d |
进程ID。可能没有 |
%(message)s |
用户输出的消息 |
5.4 配置示例
5.4.1 显式配置
使用程序logger.py如下:
import logging # create logger logger_name = "example" file_log = "accesss.log" logger = logging.getLogger(logger_name) logger.setLevel(logging.DEBUG) # create file handler fh = logging.FileHandler(file_log) fh.setLevel(logging.WARN) # create formatter fmt = "%(asctime)-15s %(levelname)s %(filename)s %(lineno)d %(process)d %(message)s" datefmt = "%a %d %b %Y %H:%M:%S" formatter = logging.Formatter(fmt, datefmt) # add handler and formatter to logger fh.setFormatter(formatter) logger.addHandler(fh) # print log info logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
5.4.2 文件配置
配置文件logging.conf如下:
[loggers] keys=root,example01 [logger_root] level=DEBUG handlers=hand01,hand02 [logger_example01] handlers=hand01,hand02 qualname=example01 propagate=0 [handlers] keys=hand01,hand02 [handler_hand01] class=StreamHandler level=INFO formatter=form02 args=(sys.stderr,) [handler_hand02] class=FileHandler level=DEBUG formatter=form01 args=('log.log', 'a') [formatters] keys=form01,form02 [formatter_form01] format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s
使用程序logger.py如下:
import logging import logging.config logging.config.fileConfig("logging.conf") # create logger logger_name = "example" logger = logging.getLogger(logger_name) logger.debug('debug message') logger.info('info message') logger.warn('warn message') logger.error('error message') logger.critical('critical message')
5.4.3 字典配置
import logging import logging.config logger = logging.getLogger(__name__) # load config from file # logging.config.fileConfig('logging.ini', disable_existing_loggers=False) # or, for dictConfig logging.config.dictConfig({'version': 1, 'disable_existing_loggers': False, # this fixes the problem'formatters': {'standard': {'format': '%(asctime)s [%(levelname)s] %(name)s: %(message)s'},},'handlers': {'default': {'level':'INFO', 'class':'logging.StreamHandler',}, },'loggers': {'': { 'handlers': ['default'], 'level': 'INFO', 'propagate': True }} }) logger.info('It works!')
5.4.4 监听配置
可以使用logging.config.listen(port=DEFAULT_LOGGING_CONFIG_PORT)进行完善本文。
5.4.5 JSON配置
配置文件logging.json如下:
{"version": 1,"disable_existing_loggers": false,"formatters": {"simple": {"format": "%(asctime)s - %(name)s - %(levelname)s - %(message)s"}},"handlers": {"console": {"class": "logging.StreamHandler","level": "DEBUG","formatter": "simple","stream": "ext://sys.stdout"},"info_file_handler": {"class": "logging.handlers.RotatingFileHandler","level": "INFO","formatter": "simple","filename": "info.log","maxBytes": 10485760,"backupCount": 20,"encoding": "utf8"},"error_file_handler": {"class": "logging.handlers.RotatingFileHandler","level": "ERROR","formatter": "simple","filename": "errors.log","maxBytes": 10485760,"backupCount": 20,"encoding": "utf8"}},"loggers": {"my_module": {"level": "ERROR","handlers": ["console"],"propagate": "no"}},"root": {"level": "INFO","handlers": ["console", "info_file_handler", "error_file_handler"]} }
使用程序logger.py如下:
import json import logging.configdef setup_logging(default_path='logging.json', default_level=logging.INFO,env_key='LOG_CFG' ):"""Setup logging configuration"""path = default_pathvalue = os.getenv(env_key, None)if value:path = valueif os.path.exists(path):with open(path, 'rt') as f:config = json.load(f)logging.config.dictConfig(config)else:logging.basicConfig(level=default_level)
5.4.6 YAML配置
配置文件logging.yaml如下:
--- version: 1 disable_existing_loggers: False formatters:simple:format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s" handlers:console:class: logging.StreamHandlerlevel: DEBUGformatter: simplestream: ext://sys.stdoutinfo_file_handler:class: logging.handlers.RotatingFileHandlerlevel: INFO formatter: simplefilename: info.logmaxBytes: 10485760 # 10MBbackupCount: 20encoding: utf8error_file_handler:class: logging.handlers.RotatingFileHandlerlevel: ERROR formatter: simplefilename: errors.logmaxBytes: 10485760 # 10MBbackupCount: 20encoding: utf8 loggers:my_module:level: ERRORhandlers: [console]propagate: no root:level: INFOhandlers: [console, info_file_handler, error_file_handler] ...
使用程序logger.py如下:
import os import logging.config import yaml def setup_logging(default_path='logging.yaml', default_level=logging.INFO,env_key='LOG_CFG' ):"""Setup logging configuration"""path = default_pathvalue = os.getenv(env_key, None)if value:path = valueif os.path.exists(path):with open(path, 'rt') as f:config = yaml.load(f.read())logging.config.dictConfig(config)else:lo
6、使用 __name__ 作为 logger 的名称
虽然不是非得将 logger 的名称设置为 __name__ ,但是这样做会给我们带来诸多益处。在 python 中,变量 __name__ 的名称就是当前模块的名称。比如,在模块 “foo.bar.my_module” 中调用 logger.getLogger(__name__) 等价于调用logger.getLogger(“foo.bar.my_module”) 。当你需要配置 logger 时,你可以配置到 “foo” 中,这样包 foo 中的所有模块都会使用相同的配置。当你在读日志文件的时候,你就能够明白消息到底来自于哪一个模块。
7、捕捉异常并使用 traceback 记录它
出问题的时候记录下来是个好习惯,但是如果没有 traceback ,那么它一点儿用也没有。你应该捕获异常并用 traceback 把它们记录下来。比如下面这个例子:
使用参数 exc_info=true 调用 logger 方法, traceback 会输出到 logger 中。你可以看到下面的结果:
try:open('/path/to/does/not/exist', 'rb') except (SystemExit, KeyboardInterrupt):raise except Exception, e:logger.error('Failed to open file', exc_info=True)
你也可以调用 logger.exception(msg, _args),它等价于 logger.error(msg, exc_info=True, _args)。
千万不要在模块层次获取 Logger,除非 disable_existing_loggers 被设置为 False
你可以看到很多在模块层次获取 logger 的例子(在这篇文章我也使用了很多,但这仅仅为了让示例更短一些)。它们看上去没什么坏处,但事实上,这儿是有陷阱的 – 如果你像这样在模块中使用 Logger,Python 会保留从文件中读入配置前所有创建的所有 logger。
my_module.py
import logging logger = logging.getLogger(__name__) def foo():logger.info('Hi, foo') class Bar(object):def bar(self):logger.info('Hi, bar') main.py import logginglogger = logging.getLogger(__name__)def foo():logger.info('Hi, foo')class Bar(object):def bar(self):logger.info('Hi, bar')
本应该在日志中看到记录,但是你却什么也没有看到。为什么呢?这就是因为你在模块层次创建了 logger,然后你又在加载日志配置文件之前就导入了模块。logging.fileConfig 与 logging.dictConfig 默认情况下会使得已经存在的 logger 失效。所以,这些配置信息不会应用到你的 Logger 上。你最好只在你需要 logger 的时候才获得它。反正创建或者取得 logger 的成本很低。你可以这样写你的代码:
import loggingdef foo():logger = logging.getLogger(__name__)logger.info('Hi, foo')class Bar(object):def __init__(self, logger=None):self.logger = logger or logging.getLogger(__name__)def bar(self):self.logger.info('Hi, bar')
这样,logger 就会在你加载配置后才会被创建。这样配置信息就可以正常应用。
python2.7 之后的版本中 fileConfg 与 dictConfig 都新添加了 “disable_existing_loggers” 参数,将其设置为 False,上面提到的问题就可以解决了。例如:
8、使用旋转文件句柄
如果你用 FileHandler 写日志,文件的大小会随着时间推移而不断增大。最终有一天它会占满你所有的磁盘空间。为了避免这种情况出现,你可以在你的生成环境中使用 RotatingFileHandler 替代 FileHandler。
9、如果你有多个服务器可以启用一个专用的日志服务器
当你有多个服务器和不同的日志文件时,你可以创建一个集中式的日志系统来收集重要的(大多数情况是警告或者错误消息)信息。然后通过监测这些日志信息,你就可以很容易地发现系统中的问题了。
10、总结
Python 的日志库设计得如此之好,真是让人欣慰,我觉得这是标准库中最好的一部分了,你不得不选择它。它很灵活,你可以用你自己的 handler 或者 filter。已经有很多的第三方的 handler 了,比如 pyzmq 提供的 ZeroMQ 日志句柄,它允许你通过 zmq 套接字发送日志消息。如果你还不知道怎么正确的使用日志系统,这篇文章将会非常有用。有了很好的日志记录实践,你就能非常容易地发现系统中的问题。这是很非常值得投资的。:)
日志模块使用总结:
1、加载logging模块2、创建一个logger,并设置service用户记录日志logger = logging.getLogger("service"),使用%(name)s记录3、设置logger级别logger.setLevel(logging.DEBUG)4、创建一个handler,日志流向(文件或控制台,默认是控制台)# 创建一个handler,用于写入日志文件fh = logging.FileHandler('access.log')# 再创建一个handler,用于输出到控制台ch = logging.StreamHandler()5、# 定义handler的输出格式formatterformatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(name)s - %(levelname)s - %(message)s')fh.setFormatter(formatter)ch.setFormatter(formatter)6、给logger添加handlerlogger.addHandler(fh)logger.addHandler(ch)7、记录一条日志logger.debug('logger debug message')logger.info('logger info message')logger.warning('logger warning message')logger.error('logger error message')logger.critical('logger critical message')
转载于:https://blog.51cto.com/xuanwei/1954983
Python自动化运维之常用模块—logging相关推荐
- Python自动化运维之常用模块—OS
os模块的作用: os,语义为操作系统,所以肯定就是操作系统相关的功能了,可以处理文件和目录这些我们日常手动需要做的操作,就比如说:显示当前目录下所有文件/删除某个文件/获取文件大小-- 另外,os模 ...
- 自动化运维---ansible常用模块之文件操作(findreplace模块)
自动化运维-ansible常用模块之文件操作(find&replace模块) 文章目录 自动化运维---ansible常用模块之文件操作(find&replace模块) 1.find模 ...
- Linux笔记:自动化运维之常用模块psutil、IPy、dnspython
常用模块 psutil 用它来获取系统信息 IPy 高效处理ip地址相关的功能 dnspython 实现是dns的服务监控 可以实现域名解析,对域名的A记录,NS记录进行相应的查询等 解析结果的校验 ...
- Python自动化运维——DNS处理模块
模块:dnspython 功能: 支持所有的记录类型 可以用于查询.传输并动态更新ZONE信息 支持TSIG(事务签名)验证消息和EDNS0(扩展DNS) 安装: wget http://www.dn ...
- Python自动化运维——系统进程管理模块
模块:psutil psutil是一个跨平台库,可以很轻松的为我们实现获取系统运行的进程和资源利用率等信息. 功能:主要是为了系统监控 安装: 学习python中有什么不懂的地方,小编这里推荐加小编的 ...
- Python自动化运维---学习笔记
Python自动化运维 python简介 入门容易精通难,python适合作为第二编程语言(对于运维:Shell,对于开发:Java,对于全栈:nodejs(javascript)) python官网 ...
- 云计算Python自动化运维开发实战 三、python文件类型
为什么80%的码农都做不了架构师?>>> 云计算Python自动化运维开发实战 三.python文件类型 导语: python常用的有3种文件类型 1. 源代码 py ...
- 基于python技术的自动化运维是干嘛的_《Python自动化运维 技术与最佳实践》.pdf...
[实例简介]Python自动化运维 技术与最佳实践 [刘天斯著][机械工业出版社][2014.12][291页].pdf [实例截图] [核心代码] 目 录 本书赞誉 前 言 第一部分 基础篇 第1章 ...
- python自动化运维之路~DAY1
python自动化运维之路~DAY1 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.文件大小单位单位换算 我们一起看一下下面的图: 没错,都是数字,而且这些数字都是二进制的数字 ...
最新文章
- 所有计算机都可以安装win7,几种安装win7系统的方法介绍
- 加载如下html 写出输出顺序,浏览器加载和渲染html的顺序-结论篇
- Google Chrome —— 使用 PowerShell 命令安装 Google Chrome 浏览器
- ZooKeeper編程02--多線程的分佈式鎖
- 暑假周进度总结报告4
- Win10系统更新后旧系统清理
- 计算几何小结 我对计算几何的理解以及叉积和点积
- python批量修改图片大小_Python3 批量修改JPG图片尺寸?
- java添加java_home环境变量_如何正确设置jdk环境变量JAVA_HOME?
- linux-2.6.32在mini2440开发板上移植(15)之移植看门狗驱动
- [Ctsc2010]珠宝商 SAM+点分治+根号分治
- 【猿码】java swing实现喜羊羊与灰太狼推箱子游戏附带视频开发教程可做为Java毕设大作业
- 微信AirSync服务之计步器
- 支付宝AR红包引出Python中的PIL小试
- 文献解读|生物炭和细菌接种生物炭增强了污染土壤中镉和铜的固定化和酶活性
- 解决电脑无法运行 Mscomctl.ocx控件 常见的4个问题
- 【java】java中输出字符串中的单个字符及获得其长度
- Win7输入法图标不见了怎么办
- edgeR/limma/DESeq2差异基因分析→ggplot2作火山图→biomaRt转换ID并注释
- 2022-2028年全球与中国LED舞台照明行业市场前瞻与投资战略规划分析
热门文章
- java 数据队列_Java 数据结构 - 队列
- 湖南hp服务器虚拟化解决方案,HP刀片服务器虚拟化整合解决方案-20210729062411.docx-原创力文档...
- html5怎么改为vue_Vue实战——编程式导航打开新窗口,登录状态本地存储
- 机器人最新天赋符文天赋加点图_常德2020中小学机器人竞赛开赛 286名选手现场比拼技能...
- 什么叫冷备用状态_新密5P加工中心冷油机生产厂家电话【瀚信德】
- c/c++多线程模拟系统资源分配(并通过银行家算法避免死锁产生)
- 华为畅享max有没有人脸识别_华为畅享7s有人脸识别吗 让我来告诉你
- kafka如何保证不重复消费又不丢失数据_Kafka写入的数据如何保证不丢失?
- python源码多平台编译_提升Python程序运行效率的6个方法
- angularjs sill 创建项目_开源项目——博客项目MyBlogs.Core,基于.NET 5