ELK 环境搭建（三）

安装logstash

1.配置logstash环境

创建用户
在logstash安装的机器上创建一个单独的用户，logstash如果部署在elasticsearch所在的机器上时，可以与elasticsearch共用一个用户。
在root用户下执行：
创建用户：useradd 用户名
设置用户密码：passwd 用户名
配置环境变量
1. 切换到上一步中创建的用户下：su - 用户名

2.修改".bash_profile"文件：

JAVA_HOME=/usr/java/default
PATH=$JAVA_HOME/bin:$PATH:$HOME/.local/bin:$HOME/binexport JAVA_HOME PATH

3.在新创建的用户下，解压软件到指定的文件夹下。

2.配置logstash

1、修改logstash目录下的config文件夹下的配置文件jvm.options，根据实际情况调整占用内存大小，数据量较小时采用默认即可。

-Xms2g
-Xmx2g

2、在logstash安装目录的config文件夹下建立文件app_to_es.conf，复制如下代码，根据实际情况修改文件中的path和hosts变量值：

input {file {path => ["修改为nginx服务器的实际日志生成文件的绝对路径"]start_position => ["beginning"]}
}
filter {grok{match => {"message" => "%{IPV4:client}\^A\d{0,11}.\d{3}\^A%{IPV4:userIp}(:%{NUMBER:userPort})?\^[A]/i(?:%{NOTSPACE:request})*\^[A](?:%{NOTSPACE:request_body})"}remove_field => ["BASE10NUM"]}mutate {gsub =>["request","\%20"," "]gsub =>["request", "\+", " "]}urldecode{all_fields => true}kv {source => "request"field_split => "&?"value_split => "="}mutate {gsub =>["events", "},", "}##"]}split {field => "events"terminator => "##"}json {source => "events"remove_field => ["message","request","events"]}}
output {elasticsearch {action => "index"                          #The operation on EShosts  => "ElasticSearch的地址:9200"      #ElasticSearch host, can be array.index  => "app_log_%{+YYYY.MM.dd}"         #The index to write data}}

3、启动logstash

启动命令：nohup bin/logstash -f config/app_to_es.conf &

ELK 环境搭建（三）相关推荐

ELK环境搭建+入门使用
文章目录 ELK环境搭建+入门使用前言使用的数据格式定义安装.启动启动ES 启动Kibana 启动Logstash 配置first-pipeline.conf 前台启动Logstash 在Lo ...
Hadoop完全分布式环境搭建(三节点)
一.实验机型及架构描述二.基础环境配置三.JDK-Hadoop环境配置四.Hadoop配置文件修改五.启动hadoop集群(均在adserver操作) 本篇引用文章地址: https://bl ...
开源游戏服务器框架NoahGameFrame（NF）客户端环境搭建(三)
一.下载NoahGameFrame框架的客户端 1.进入到开源游戏服务器框架NoahGameFrame的客户端NFUnitySDK在GitHub官方界面NFUnitySDK 2.复制要Checkout ...
ELK 环境搭建1-Elasticsearch
一.安装前准备 1.节点 192.168.30.41 192.168.30.42 192.168.30.43 2.操作系统: Centos7.5 3.安装包 a.java8: jdk-8u181-li ...
大数据原生集群本地测试环境搭建三
本篇安装软件 Hive1.2 hue-3.9.0-cdh5.14.0 Zookeeper3.4 Kafka2.11-0.10 redis3.0.0 elasticsearch-6.6.2 elasti ...
Linux开发环境搭建三使用mount -t cifs 挂载windows共享目录方法与问题解决
嵌入式开发通常是在linux环境下编译,windows下开发,这就需要在linux环境下访问windows目录了,或者在windows上访问linux目录.通常有三种方式如果是在vm虚拟机上,vm提 ...
大数据实战之环境搭建(三)
今天不小心下载了一个VMPLayer和CenterOS-5.所以我决定后面的demo全部使用linux作为大数据的载体来进行讲解.今天主要就是讲一下CenterOS的安装准备我们安装好VMPlaye ...
基础数据仓库环境搭建(三)Zookeeper的安装与配置和操作
Zookeeper概述 Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目.它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等工 ...
Hadoop环境搭建三伪分布式
一,配置core-site.xml 二,配置hdfs-site.xml 三,格式化NameNode 四,启动服务五, 配置yarn-site.xml 六, 配置mapred-site.xml ...

ELK 环境搭建（三）

安装logstash

1.配置logstash环境

2.配置logstash

ELK 环境搭建（三）相关推荐

最新文章

热门文章

ELK 环境搭建 （三）

安装logstash

1.配置logstash环境

2.配置logstash

ELK 环境搭建 （三）相关推荐

最新文章

热门文章

ELK 环境搭建（三）

ELK 环境搭建（三）相关推荐