点击蓝色“程序猿DD”关注我

回复“资源”获取独家整理的学习资料!

作者 | 何甜甜在吗

来源 | juejin.im/post/5d4d61326fb9a06aff5e5ff5

通过阅读本篇文章将了解到

  1. 日志输出到文件并根据LEVEL级别将日志分类保存到不同文件

  2. 通过异步输出日志减少磁盘IO提高性能

  3. 异步输出日志的原理

配置文件logback-spring.xml

SpringBoot工程自带logback和slf4j的依赖,所以重点放在编写配置文件上,需要引入什么依赖,日志依赖冲突统统都不需要我们管了。

logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题,正确的做法应该是将error日志和其他日志分开,并且不同级别的日志根据时间段进行记录存储。

<?xml version="1.0" encoding="utf-8"?>
<configuration><property resource="logback.properties"/><appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender"><layout class="ch.qos.logback.classic.PatternLayout"><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></layout></appender><!--获取比info级别高(包括info级别)但除error级别的日志--><appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"><filter class="ch.qos.logback.classic.filter.LevelFilter"><level>ERROR</level><onMatch>DENY</onMatch><onMismatch>ACCEPT</onMismatch></filter><encoder><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></encoder><!--滚动策略--><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!--路径--><fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern><maxHistory>30</maxHistory></rollingPolicy></appender><appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>ERROR</level></filter><encoder><pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern></encoder><!--滚动策略--><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!--路径--><fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern><maxHistory>30</maxHistory></rollingPolicy></appender><root level="info"><appender-ref ref="CONSOLE-LOG" /><appender-ref ref="INFO-LOG" /><appender-ref ref="ERROR-LOG" /></root>
</configuration>

部分标签说明

<root>标签,必填标签,用来指定最基础的日志输出级别

  • 标签,添加append

<append>标签,通过使用该标签指定日志的收集策略

  • name属性指定appender命名

  • class属性指定输出策略,通常有两种,控制台输出和文件输出,文件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台

<filter>标签,通过使用该标签指定过滤策略

  • 标签指定过滤的类型

<encoder>标签,使用该标签下的标签指定日志输出格式<rollingPolicy>标签指定收集策略,比如基于时间进行收集

  • 标签指定生成日志保存地址,通过这样配置已经实现了分类分天手机日志的目标了

logback 高级特性异步输出日志

之前的日志配置方式是基于同步的,每次日志输出到文件都会进行一次磁盘IO。采用异步写日志的方式而不让此次写日志发生磁盘IO,阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单,添加一个基于异步写日志的appender,并指向原先配置的appender即可

 <!-- 异步输出 --><appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --><discardingThreshold>0</discardingThreshold><!-- 更改默认的队列的深度,该值会影响性能.默认值为256 --><queueSize>256</queueSize><!-- 添加附加的appender,最多只能添加一个 --><appender-ref ref="INFO-LOG"/></appender><appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --><discardingThreshold>0</discardingThreshold><!-- 更改默认的队列的深度,该值会影响性能.默认值为256 --><queueSize>256</queueSize><!-- 添加附加的appender,最多只能添加一个 --><appender-ref ref="ERROR-LOG"/></appender>

异步输出日志性能测试

既然能提高性能的话,必须进行一次测试比对,同步和异步输出日志性能到底能提升多少倍?

服务器硬件

  • CPU 六核

  • 内存 8G

测试工具

  • Apache Jmeter

同步输出日志

  • 线程数:100

  • Ramp-Up Loop(可以理解为启动线程所用时间) :0

  • 可以理解为100个线程同时启用

测试结果

重点关注指标Throughput【TPS】吞吐量:系统在单位时间内处理请求的数量,在同步输出日志中TPS为44.2/sec

异步输出日志

  • 线程数 100

  • Ramp-Up Loop:0

测试结果

TPS为497.5/sec,性能提升了10多倍!!!

异步日志输出原理

从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示:

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法,查看该方法的源码:

protected void append(E eventObject) {if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {this.preprocess(eventObject);this.put(eventObject);}}

通过队列情况判断是否需要丢弃日志,不丢弃的话将它放到阻塞队列中,通过查看代码,这个阻塞队列为ArrayBlockingQueueu,默认大小为256,可以通过配置文件进行修改。

Logger.info(…)到append(…)就结束了,只做了将日志塞入到阻塞队列的事,然后继续执行Logger.info(…)下面的语句了。

在AsyncAppenderBase类中定义了一个Worker线程,run方法中的关键部分代码如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

最主要的两个方法就是encode和write方法,前一个法方会根据配置文件中encode指定的方式转化为字节码,后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的,主线程将日志扔到阻塞队列中,然后又去做其他事情了。

源码

https://github.com/TiantianUpup/springboot-log

-END-

留言交流不过瘾

关注我,回复“加群”加入各种主题讨论群

点一点“阅读原文”小惊喜在等你

Logback 配置文件这么写,日志 TPS 提高 10 倍相关推荐

  1. Logback配置文件这么写,TPS提高10倍

    点击上方"方志朋",选择"设为星标" 做积极的人,而不是积极废人 作者:何甜甜在吗 juejin.im/post/5d4d61326fb9a06aff5e5ff ...

  2. Logback 配置文件这么写,TPS 提高 10 倍!

    作者:何甜甜在吗 链接:juejin.im/post/5d4d61326fb9a06aff5e5ff5 通过阅读本篇文章将了解到: 1.日志输出到文件并根据LEVEL级别将日志分类保存到不同文件 2. ...

  3. Logback配置文件这么写,TPS提高10倍!

    点击关注公众号,实用技术文章及时了解 来源:juejin.cn/post/6844903909920604174 通过阅读本篇文章将了解到 日志输出到文件并根据LEVEL级别将日志分类保存到不同文件 ...

  4. Logback 配置文件这么写,TPS提高 10 倍

    点击上方"Java基基",选择"设为星标" 做积极的人,而不是积极废人! 每天 14:00 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java ...

  5. Logback 配置文件这样优化,TPS提高 10 倍

    欢迎关注方志朋的博客,回复"666"获面试宝典 01.通过阅读本篇文章将了解到 1.日志输出到文件并根据LEVEL级别将日志分类保存到不同文件 2.通过异步输出日志减少磁盘IO提高 ...

  6. bat 调用class文件_Logback 配置文件这么写,TPS 提高 10 倍!

    作者:何甜甜在吗 链接:juejin.im/post/5d4d61326fb9a06aff5e5ff5 通过阅读本篇文章将了解到: 1.日志输出到文件并根据LEVEL级别将日志分类保存到不同文件 2. ...

  7. c++异步日志队列_Logback 配置文件这么写,日志 TPS 提高 10 倍

    点击蓝色"java版web项目"关注我哟 加个"星标",优质文章,第一时间送达 上一篇:这300G的Java资料是我师傅当年给我的,免费分享给大家 下一篇:这2 ...

  8. Python偷懒小技巧-提高10倍工作效率

    说明:增加代码的描述力,可以成倍减少你的LOC,做到简单,并且真切有力 观点:少打字=多思考+少出错,10代码行比50行更能让人明白,以下技巧有助于提高10倍工作效率 1. 交换变量值时避免使用临时变 ...

  9. 选择的艺术:转换率提高10倍,你能做到吗?

    如何提高在线销售?有一个办法,你可以提高在线销售1000%. 如果你曾经听人说过"Less Is More"这样的言论,没错,这就是把转换率提高10倍的秘密! 大多数人在开始在网上 ...

最新文章

  1. Redis的高级特性哨兵
  2. 不同视图间的跳转方式
  3. 不满足于汽车制造,丰田展示仿钢铁侠机器支撑腿架
  4. Java OutputStreamWriter flush()方法与示例
  5. Castle ActiveRecord学习实践(2):构建配置信息
  6. Vue学习笔记(1)(认识Vue、基础语法)
  7. java ide下载_jGRASP|轻量级Java IDE(jGRASP)下载v2.0.4.03官方版 - 欧普软件下载
  8. 一不小心,老司机又翻车了
  9. 计算机网络2020秋--第四次测验
  10. left join 一对多只取一条_Python爬虫教程:验证码的爬取和识别详解
  11. Java数据结构——队列
  12. solaris查看服务器信息,Solaris下如何显示服务器虚拟内存统计信息
  13. 【微信小程序】数据绑定
  14. python程序设计基础教程慕课版课后题答案薛景_Python程序设计基础教程(慕课版)...
  15. POI实现Excel文件加密
  16. 全球各国主要电商平台
  17. 用脑子说话,用心服务
  18. elasticsearch ingest node
  19. 重磅:CMMI DEV V2.0发布!
  20. Linux下生产者与消费者模型

热门文章

  1. linux 查看线程数的方法
  2. linux shell 脚本嵌套调用 获取脚本自身文件名
  3. linux cron crontab anacron 计划任务 定时任务
  4. linux socket 清空缓存区
  5. web安全攻防演练网站 靶机 测试环境 收集
  6. CSDN博客转载攻略
  7. 用google代替CSDN的博客搜索功能
  8. Linux 命令 alternatives和update-alternatives
  9. Linux/Ubuntu下安装QQ2012
  10. 给开源编译器插入后门