配置三台服务器组成的ELK集群（二）

上一篇里主要是介绍了ES和ES-Head的安装过程，这一篇继续介绍ELK集群的其他核心组件安装过程。

五、安装Logstash：

本案的Logstash安装在10.113.130.117上；燃鹅，Logstash也可以利用多台组成集群，如果未来单台处理不过来，可以把Logstash扩展到其他服务器上。

将logstash.tar.gz解压到指定目录：

# tar -zxvf logstash-5.4.1.tar.gz -C /opt/ # mv /opt/logstash-5.4.1/ /opt/logstash/

logstash三种启动方式，靠参数进行选择：-e sting类型启动，-f 指定配置文件启动，服务启动。

但我们没有通过yum安装，暂时无法以服务方式启动——需要编写启动脚本。

创建简单的配置文件：

# cd /opt/logstash/config
# cp sample.conf es-cluster.conf # vim /opt/logstash/config/es-cluster.conf
#参考下面的配置信息，Logstash启动后读取/var/log/messages的文件内容
input{file{start_position => "beginning"path => ["/var/log/messages "]type => 'messagelog'}
}#然后将文件内容发送给ElasticSearch的目标服务器
output{ elasticsearch { hosts => ["10.113.130.116:9200"] } }

完成配置修改后，先启动logstash，看一下运行情况：

# /opt/logstash/bin/logstash -f /opt/logstash/config/es-cluster.conf &#如果看到如下信息，表示启动成功：
[INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<URI::Generic:0x5f86b37e URL://10.113.130.116:9200>]}
[INFO ][logstash.pipeline] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[INFO ][logstash.pipeline] Pipeline main started
[INFO ][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}

六、安装FileBeats

当Logstash安装完成后，要实现从应用服务器上收集日志的工作，这个工作如果使用Logstash来执行，也是没有问题的。

在应用服务器上，按照以上安装Logstash的操作和配置就可以达到目的；但是Logstash安装繁琐，而且如果仅仅作为收集日志的代理，未免太重。

因此选择官方推荐的FileBeats作为勤劳的工蜂，实现指定文件的扫描、文件内容的收集和发送工作。

让我们看看是不是在5分钟内能完成FileBeats的安装配置吧：

# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-x86_64.rpm
# rpm -vi filebeat-5.4.1-x86_64.rpm

修改配置文件：

# vim /etc/filebeat/filebeat.yml 

filebeat.prospectors: - input_type: log paths:
- /ane/tomcat/logs/*.log
#- /ane/tomcat/logs/*.out
input_type: log #----------------------------- Logstash output --------------------------------

output.logstash:# The Logstash hostshosts: ["10.113.130.117:5044"]worker: 4

配置了日志输出到Logstash之后，建议注释掉输出到Elasticsearch的部分。

启动FileBeats：

 - For CentOS：
# systemctl start filebeat- For Redhat 6.5：
# service filebeat start

如果采用了FileBeat收集日志文件，则可以关闭Logstath的文件读取，从指定的端口读取数据流。

登录到Logstash的服务器（10.113.130.117），修改Logstash的配置文件为如下内容：

# vim /opt/logstash/config/es-cluster.conf

input{stdin{}beats{port => 5044}
}output{elasticsearch {hosts => ["10.113.130.116:9200"]index => "logstash-%{+YYYY.MM.dd}"document_type => "%{[@metadata][type]}"}
}

修改完以后，重启Logstash。

请注意一个细节：logstash-%{+YYYY.MM.dd}，不能写成{+YYYY.MM.DD}，不然第二天以后的日期显示不正确！下面展示写错的情况：

上面图中的logstash-2017.06.170，是6月18日的日志文件的汇总标题。前一天（17日）是正确的，次日就这样了。

七、安装Kibana

Kibana安装在10.113.130.118上。从官网下载Kibana.tar.gz，解压到/opt目录下：

# tar -zxvf kibana-5.4.0-linux-x86_64.tar.gz -C /opt/# mv /opt/kibana-5.4.0-linux-x86_64 /opt/kibana/
# cd /opt/# chown -R elasticsearch:elasticsearch kibana

修改配置文件

# cd kibana/# vim config/kibana.yml#修改如下选项：
Server.port: 5601
Server.host: “0.0.0.0”
Elasticsearch.url: “10.113.130.116:9200”
Kibana.index: “.kibana”
Pid.file: /var/run/kibana.pid

由于kibana文件夹的所有者为Elsticsearch，运行也要以elsticsearch用户身份。

与Elsticsearch的处理方式类似，创建启动脚本：

# vim kibana-start.sh
su - elasticsearch -c "nohup /opt/kibana/bin/kibana> /dev/null 2>&1 &"# chmod +x kibana-start.sh
# mv kibana-start.sh /usr/local/bin

#kibana-start.sh

Kibana启动以后，在浏览器输入http://10.113.130.118:5601，可以看到如下页面：

八、安装ElasticHD

ElasticHD 是一款 ElasticSearch的可视化应用。不依赖ES的插件安装，更便捷；导航栏直接填写对应的ES IP和端口就可以操作ES了。目前支持如下功能：

ES 实时搜索
ES DashBoard 数据可视化
ES Index Template (在线修改、查看、上传）
SQL Converts to DSL
ES 基本查询文档

详见：https://github.com/farmerx/elasticHD/wiki

登录到第一台服务器（10.113.130.116），下载对应的elasticHD版本，上传到服务器：

# unzip xxx_elasticHd_xxx.zip# mv ElasticHD /opt/
# chmod 777 ElasticHD

可指定ip端口运行elastichd

# /opt/ElasticHD -p 10.113.130.116:9800 &

同样，推荐将上方的启动命令，制作成启动脚本eshd-start.sh，并移动到/usr/local/bin/目录下，可直接执行。

安装成功后，在浏览器输入配置的地址和端口，看到如下画面：

转载于:https://www.cnblogs.com/JasonMa1980/p/7222143.html

配置三台服务器组成的ELK集群（二）相关推荐

elk集群配置配置文件中节点数配多少
配置elk集群时,遇到,elasticsearch配置文件中的一个配置discovery.zen.minimum_master_nodes: 2.这里是三配的2 看到某一位的解释是这样:为了避免脑裂, ...
搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch
文章目录一.前置准备 1. 部署总览 2. 技术选型 3. 全局配置 4. 软件下载 5. 操作声明二.jdk安装 2.1. 上传 2.2. 解压 2.3. 设置环境变量三.zk集群 3.1. ...
Suricata+ELK集群监控办公网流量
本博客链接:https://security.blog.csdn.net/article/details/115214781 背景需要利用Suricata作为IDS来监控办公网出口流量,同时利用EL ...
ELK集群+Kafka集群+FileBeat——命运多舛的安装采坑之路
欢迎大家关注我的公众号,添加我为好友! 开始的时候感觉日志监控是比较NB的技术,感觉很神奇,那么多日志,为什么一下子就能够找到自己想要的?后来初步了解到了ELK(ElasticSearch + Log ...
@ELK集群环境部署搭建
文章目录 ELK部署搭建 1.ELK简述 2.ELK功能介绍 3.ELK组件官方下载 4.ELK部署安装 1)elk组件下载 2)es部署安装 3)kibana部署安装 4)Logstash部署安装 ...
lvs负载均衡之配置lvs-tun模式的httpd负载集群
文章目录 Lvs简介体系结构 LVS管理工具 Ipvsadm核心功能 LVS工作模式及原理 LVS调度算法配置lvs-tun模式的httpd负载集群 Lvs简介 LVS(Linux Virtual ...
ELK 集群 + Redis 集群 + Nginx ,分布式的实时日志（数据）搜集和分析的监控系统搭建，简单上手使用
简述 ELK实际上是三个工具的集合,ElasticSearch + Logstash + Kibana,这三个工具组合形成了一套实用.易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台. 官 ...
服务器查看不到集群信息,集群服务器查看内存
集群服务器查看内存内容精选换一换用户可以查看在不同云服务区已经申请成功的专属云.进入指定的专属云,还可以查看该专属云内专属计算资源详情及云服务器等专属云内基础服务的实例信息.登录管理控制台.单击 ...
测试一个config server 服务器挂机后，集群是否能读写数据
测试架构: 测试目的: 测试一个config server 服务器挂机后,集群是否能读写数据. 测试原因: 上周因为内存吃紧,准备添加内存.在查看服务器时,把一台服务器关机检查. 关机后,WE ...

配置三台服务器组成的ELK集群（二）

配置三台服务器组成的ELK集群（二）相关推荐

最新文章

热门文章