日志收集平台Graylog2以及Nxlog的安装与配置（基于docker）
graylog 安装配置
OS:CentOS7 64 基于Docker的安装
graylog 官网 docker 安装
Persist log data
mkdir -p /graylog/config cd /graylog/config wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.0/docker/config/graylog.conf wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.0/docker/config/log4j2.xmldocker-compose install graylog
The docker-compose.yml file looks like this:
1.挂载- /etc/localtime:/etc/localtime 容器同步宿主机时间
2.修改GRAYLOG_REST_TRANSPORT_URI 地址为宿主机IP
some-mongo:image: "mongo:3"volumes:
- /graylog/data/mongo:/data/db
- /etc/localtime:/etc/localtime
some-elasticsearch:image: "elasticsearch:2"command: "elasticsearch -Des.cluster.name='graylog'"volumes:
- /graylog/data/elasticsearch:/usr/share/elasticsearch/data
- /etc/localtime:/etc/localtime
graylog:image: graylog2/servervolumes:
- /graylog/data/journal:/usr/share/graylog/data/journal
- /graylog/config:/usr/share/graylog/data/config
- /etc/localtime:/etc/localtimeenvironment:
GRAYLOG_PASSWORD_SECRET: somepasswordpepper
GRAYLOG_ROOT_PASSWORD_SHA2: 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
GRAYLOG_REST_TRANSPORT_URI: http://127.0.0.1:12900links:
- some-mongo:mongo
- some-elasticsearch:elasticsearchports:
- "9000:9000"
- "12900:12900"
- "12201/udp:12201/udp"
- "1514/udp:1514/udp"
1.docker-compose安装环境,安装pip
install pip
2.安装docker-comopse
pip install -U docker-compose
3.启动docker-compose
docker-compose up
Docker Compose常用命令
Graylog Collector Sidecar
- 原理图
安装nxlog
1.centos 环境
安装方法参考这里http://blog.csdn.net/iwannarun/article/details/52604646
2.ubuntu 环境
$ sudo dpkg-deb -f nxlog-ce_2.9.1716_ubuntu_1604_amd64.deb Depends
$ sudo apt-get -f -y install
$ sudo /etc/init.d/nxlog stop
$ sudo update-rc.d -f nxlog remove
$ sudo gpasswd -a nxlog adm
3.Windows
安装collector-sidecar
1.centos 环境
2.ubuntu 环境
dpkg -i collector-sidecar_0.0.7-1_amd64.deb
To register and enable a system service use the -service option:
$ sudo graylog-collector-sidecar -service install
$ sudo service collector-sidecar start
3.Windows
nxlog.conf、collector_sidecar.yml 配置
1.nxlog.conf
路径为要监控日志文件路径
graylog server ip
端口可以不用修改
2.collector_sidecar.yml
还要修改server_url ：http://graylog server ip:12900
node_id: graylog-collector-sidecar 有多个collect要修改不同名称
graylog web 配置
http://graylog server ip:9000
system/collectors-collectors-manager coonfigures-create coonfigures
Collector xx Configuration - NXLog 配置
Configure NXLog Outputs
Configure NXLog Inputs
日志客户端启动collector-sidecar
/etc/init.d/collector-sidecar start
查看进程
graylog web查看Collectors 是否运行正常
graylog web 设置 日志接收
收集成果展示
DashBoards：可根据检索条件设置饼状图柱状图，便于分析查看
Search : 可根据时间关键字及日志源（Nxlog）所在的服务器进行筛选
总结
graylog非常适合分布式应用的日志收集，将各台服务器的日志收集至同一个地方，利用预设检索场景的dashboards能够对全局达到一目了然的效果，检索信息也十分方便。但需要注意的是日志规范在这里就尤为重要：例如统一的日志的格式能够提升检索速度，生成环境只坚决不打debug级别的日志能有效控制空间占用，毕竟接受的日志数据是持久化在graylog的mongo当中的。
日志收集平台Graylog2以及Nxlog的安装与配置（基于docker）相关推荐
- ELK日志分析平台（一）—elasticsearch安装及配置、elasticsearch图形化插件安装
1.elasticsearch简介 elastic官网 2.安装及配置 官方下载网站 本次实验版本用7.6 [root@foundation50 ~]# cd /mnt/pub/docs/elk/7. ...
- Redash 9安装与配置(基于Docker方式)
Redash 9 Docker方式安装与配置详解 安装docker 卸载原系统docker apt-get remove docker docker-engine docker.io 安装docker ...
- ELK+Kafka 企业日志收集平台(一)
背景: 最近线上上了ELK,但是只用了一台Redis在中间作为消息队列,以减轻前端es集群的压力,Redis的集群解决方案暂时没有接触过,并且Redis作为消息队列并不是它的强项:所以最近将Redis ...
- 网页版本的飞行日志分析平台是_一个轻便的实时日志收集平台wslog
一个轻便的实时日志收集平台wslog wslog原理 利用github.com上无数的slack hook 日志工具sdk 遵循 slack hook API 规范 https://api.slack ...
- 【Kafka】kafka日志收集平台搭建（二）
继上一篇博文初步搭建好kafka+zookeeper+filebeat的集群平台后,这次我们继续给此集群添加功能并完善. 数据入库(python实现) 需求分析 需要nginx日志的ip,时间,带宽字 ...
- 搭建elk+logstash+kafka+filebeat日志收集平台
文章目录 前言 组件介绍 原理图 环境介绍 安装 日志收集与展示 前言 在日常的运维过程中,对系统日志和业务日志的处理比较重要,对于以后的数据分析.排查异常问题有很重的作用.今天就分享一个自己基于ka ...
- 基于kfaka和zookeeper的nginx日志收集平台，项目详细步骤
目录 一.项目环境: 二.项目介绍: 三.项目步骤 3.1 环境准备 3.1.1 准备好虚拟机 3.1.2 配置好静态ip 3.1.3 修改主机名以及写好域名映射关系 3.1.4 安装基本软件 ...
- ELK+Kafka 企业日志收集平台(二)这是原版
上篇博文主要总结了一下elk.基于kafka的zookeeper集群搭建,以及系统日志通过zookeeper集群达到我们集群的整个过程.下面我们接着下面这个未完成的几个主题 4.Kibana部署; 5 ...
- ELK+Kafka 企业日志收集平台(二)
上篇博文主要总结了一下elk.基于kafka的zookeeper集群搭建,以及系统日志通过zookeeper集群达到我们集群的整个过程.下面我们接着下面这个未完成的几个主题 4.Kibana部署; 5 ...
最新文章
- 最新！薪酬最高的大学专业公布！
- 5G NGC — GTPv1-U 协议的扩展
- SQL Server 2008如何创建定期自动备份任务
- PHP中通过Web 执行C/C++应用程序
- openresty之http
- php .net mvc,总是觉得asp.net MVC 写着很别扭，对比PHP的mvc，asp.net 麻烦很多？
- leecode第三十题（串联所有单词的子串）
- iOS UIViewController跳转
- python 节假日_python获取全年节假日
- robots.txt存放的位置robots.txt文件的作用及写法 (搜索引擎)
- LoadLibraryA加载dll失败
- 微信支付-支付结果通知接收
- 印度正试图建立世界上最大的面部识别系统
- win10dhcp服务器设置修复,win10不能启动dhcp如何解决_win10 dhcp服务无法启动怎么修复...
- （CVE-2014-0160）OpenSSL 心脏出血漏洞
- 2021版VSCode 配置 LaTeX 环境 保姆级教程
- 计算机绘图是一种什么绘图,是指利用计算机上的什么进行美术创作过程.,传统绘画与电脑绘画的表现形式分析...
- 01.Nodejs1教程
- 双碳”目标下资源环境中的可计算一般均衡（CGE）模型技术应用
- threejs 三面体_three.js初探，立体几何入手（一）