为什么要进行日志收集?

应用程序跑在集群中,产生很多的日志,日志中包含着程序运行的情况的纪录,查看单个机器的日志过程繁琐,所以需要统一的日志管理平台对日志进行统一处理,将所有应用程序的日志收集起来,可以对日志进行存储、归档、查询、状态判断。

例如负载均衡的情况,nginx下面很多的web服务,如果查看日志的话需要进入多个tomcat一个一个看麻烦吧。

1. ELK技术解决方案吧tomcat收集起来

2. Graylog+mongo+elasticsearch 把日志收集机器。

mongo + elasticsearch+ graylog

搭建日志系统

安装要求:

docker、docker-compose

配置文件:

docker-compose.yml

some-mongo:

image: "mongo:3"

volumes:

- /opt/graylog/data/mongo:/data/db

some-elasticsearch:

image: "elasticsearch:latest"

command: "elasticsearch -Des.cluster.name='graylog'"

volumes:

- /opt/graylog/data/elasticsearch:/usr/share/elasticsearch/data

graylog:

image: graylog2/server

volumes:

- /opt/graylog/data/journal:/usr/share/graylog/data/journal

- /opt/graylog/config:/usr/share/graylog/data/config

environment:

GRAYLOG_PASSWORD_SECRET: somepasswordpepper

GRAYLOG_ROOT_PASSWORD_SHA2: 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

GRAYLOG_REST_TRANSPORT_URI: http://192.168.30.3:12900

links:

- some-mongo:mongo

- some-elasticsearch:elasticsearch

ports:

- "9000:9000"

- "12900:12900"

- "12201:12201/udp"

- "1514:1514/udp"

#直接下载官方推荐配置文件

wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.1/docker/config/graylog.conf

#日志配置文件

wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.1/docker/config/log4j2.xml

graylog.conf

修改下载完的graylog.conf中的root_timezone为:

root_timezone =+08:00

log4j2.xml

启动运行:

docker-compose up

配置graylog:

页面:http://192.168.30.3:9000

用户名:admin

密 码:admin

配置Input

启动应用程序容器:

docker run -d --name logtest --log-driver=gelf --log-optgelf-address=udp://192.168.30.3:12201 ubuntu /bin/bash -c "while true;doecho hello;sleep 1;done"

个人主页:IT人故事会 http://idig8.com/

往期docker学习:

认识docker

核心概念和安装

镜像的常用操作

容器的基本操作

仓库

数据卷

网络

Dockerfile

git入门

Jenkins使用

Jenkins+git+docker

docker compose的使用

docker Machine的使用

docker swarm的使用

跟我一起学docker(15)--监控日志和日志管理相关推荐

  1. 整理全网Shell脚本合集,Java脚本,运维脚本,告警脚本,监控脚本,日志脚本,docker脚本等---------持续更新!

    整理全网Shell脚本合集,Java脚本,运维脚本,告警脚本,监控脚本,日志脚本,docker脚本等---------持续更新! 一.ffmpeg脚本 1.1 打开进程,并判断进程数量 1.2 关闭进 ...

  2. CentOS Docker使用ELK监听日志

    前面我们学习如何搭建httpd服务:https://blog.csdn.net/daily886/article/details/103694649 下面我们ELK开源的日志管理来管理httpd日志 ...

  3. 【云原生 | 从零开始学Docker】七丶实战提交自己的镜像以及docker网络

    该篇文章已经被专栏<从零开始学docker>收录 实战以及网络 实战测试 制作自己的tomcat 1.准备镜像文件(tomcat的压缩包,jdk的压缩包) 2.编写dockerfile文件 ...

  4. 搜索客户端传参监控,request日志监控

    设计思路 README.md 客户端传参request监控客户端: 1.客户端入手:客户端添加接口请求日志,打印request  和responses,把日志单独存放,然后进行日志分析监控 2.服务端 ...

  5. Linux/Unix shell 监控Oracle告警日志(monitor alter log file)

    使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担,如常见的对实例的监控,监听的监控,告警日志的监控,以及数据库的备份,AWR report的自动邮件等.本文给出Linu ...

  6. java分析日志文件_java程序如何对监控软件的日志文件进行如下分析?

    一个监控软件的日志文件,内容如下: 日期               时间          接口       设备      状态 2016-09-01   08:00     J1         ...

  7. 跟我一起学docker(17)--多节点mesos集群

    >>原创文章,欢迎转载.转载请注明:转载自IT人故事会,谢谢! >>原文链接地址:跟我一起学docker(17)–多节点mesos集群 多节点mesos集群 1.配置maste ...

  8. docker搭建grafana+loki+promtail日志收集系统

    文章目录 docker搭建grafana+loki+promtail日志收集系统 1.拉取镜像 2.loki搭建 1)新建配置文件 2)启动容器 3.promtail搭建 1)新建配置文件 2)启动容 ...

  9. 用Zabbix和Docker搭建监控平台

    Zabbix 是由 Alexei Vladishev 开发的一种网络监视.管理系统,基于 Server-Client 架构.可用于监视各种网络服务.服务器和网络机器等状态. 1. 架构 Zabbix ...

最新文章

  1. 论文阅读--PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection
  2. java拳皇地下城_拳皇(Java简单的小程序)代码实例
  3. easyui中dialog的常犯错误
  4. VoIP之语音编码器
  5. AI算力的阿喀琉斯之踵:内存墙
  6. java根据坐标轴_java 根据坐标截取图片实例代码
  7. IGP-LAB-EIGRP-1
  8. 学习plc编程需要什么基础
  9. 【EJB】Developing EJB Applications -- Chapter 2(创建企业级Bean项目)
  10. 随机效应估算与固定效应估算_混合OLS模型、固定效应模型、随机效应模型的区别是什么...
  11. 电商运营流程图模板分享
  12. 那天是一年的第几天?
  13. copy-to-clipboard 复制
  14. 暗棋单机版_中国象棋暗棋下载_中国象棋暗棋安卓版下载 v1.6.8 安卓单机版_飞飞巴士下载...
  15. Vultr centost7一键安装BBR工具教程
  16. js/jQuery/vue练习
  17. js实现字母序号自动递增
  18. ASP.NET教学科研成果管理系统VS开发sqlserver数据库web结构c#编程计算机网页项目
  19. 开课吧T31项目第13天
  20. 微型计算机最早提出于,大学计算机基础知识理论题及解答.doc

热门文章

  1. 分布式代码管理系统Git实践
  2. Document、HTMLDocument关系的探究
  3. andriod环境搭建
  4. HDOJ 2639 Bone Collector II (背包)
  5. 检索 COM 类工厂中 CLSID 为 {00024500-0000-0000-C000-000000000046} 的组件时失败,原因是出现以下错误: 80070005。...
  6. 【PostgreSQL】PostgreSQL安装步骤
  7. 【git】源代码管理工具 GIT的使用步骤的详细讲解
  8. windows下,linux下elasticsearch安装插件marvel插件的步骤
  9. 对软件测试“核心价值”的思考
  10. 微型计算机发展方向网络化,第二章 会计电算化工作环境