【ELK】ELK集群搭建(ElasticSearch Logstash Kinaba)
1. Logstash
1.1 安装
注:安装在需要收集日志的机器上。
cd /data/softs
sudo wget https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
sudo tar -zxf logstash-2.4.0.tar.gz
sudo mv logstash-2.4.0 /usr/local/logstash
1.2 创建配置
cd /usr/local/logstash
sudo vim logstash.conf
输入:
input {file {path => ["/data/logs/error/program.error.log"]type => "error"tags => ["error"]start_position => "beginning"#sincedb_path => "/dev/null"codec => "json"}file {path => ["/data/logs/error/program.warning.log"]type => "warning"tags => ["warning"]start_position => "beginning"#sincedb_path => "/dev/null"codec => "json"}#file {# path => ["/data/logs/access/nginx.access.log"]# type => "access"# tags => ["access"]# start_position => "beginning"# codec => "json"#}
}
output {if "error" in [tags] {elasticsearch {hosts => "10.0.0.23:9200"index => "error_log"}stdout { codec=> rubydebug }}if "warning" in [tags] {elasticsearch {hosts => "10.0.0.23:9200"index => "warning_log"}stdout { codec=> rubydebug }}if "access" in [tags] {elasticsearch {hosts => "10.0.0.23:9200"#index => "access_log"index => "access_log_%{+YYYY.MM.dd}"}stdout { }}
}
1.3 启动
sudo /usr/local/logstash/bin/logstash agent -f /usr/local/logstash/logstash.conf 2>>/data/logs/error/logstash.error.log &
2. ElasticSearch集群(三台)
2.1 安装
# 安装JDKsudo yum -y install java-1.8.0-openjdk# 下载ES RPM包sudo wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-2.4.0.rpm# 安装rpm -ivh elasticsearch-5.2.0.rpm# 开机启动sudo /bin/systemctl daemon-reloadsudo /bin/systemctl enable elasticsearch.service
2.2 配置
2.2.1 elasticsearch01
# 更改配置 sudo vim /etc/elasticsearch/elasticsearch.ymlpath.data: /data/components/elasticsearchpath.plugins: /data/components/elasticsearch/pluginsnode.name: zt-elk01path.logs: /data/logs/network.host: 10.0.0.23http.port: 9200discovery.zen.ping.unicast.hosts: ["10.0.0.24","10.0.0.25"]# 重启sudo systemctl enable elasticsearch.servicesudo systemctl restart elasticsearch.service
2.2.2 elasticsearch02
# 更改配置 sudo vim /etc/elasticsearch/elasticsearch.ymlpath.data: /data/components/elasticsearchpath.plugins: /data/components/elasticsearch/pluginscluster.name: zt-elknode.name: zt-elk02path.logs: /data/logs/network.host: 10.0.0.24http.port: 9200discovery.zen.ping.unicast.hosts: ["10.0.0.23","10.0.0.25"]# 重启sudo systemctl enable elasticsearch.servicesudo systemctl restart elasticsearch.service
2.2.3 elasticsearch03
# 更改配置 sudo vim /etc/elasticsearch/elasticsearch.ymlpath.data: /data/components/elasticsearchpath.plugins: /data/components/elasticsearch/pluginscluster.name: zt-elknode.name: zt-elk03path.logs: /data/logs/network.host: 10.0.0.25http.port: 9200discovery.zen.ping.unicast.hosts: ["10.0.0.23","10.0.0.24"]# 重启sudo systemctl enable elasticsearch.servicesudo systemctl restart elasticsearch.service
3. 安装Kibana
3.1 安装
注:安装在能对外访问的机器上。
cd /data/softs
sudo wget https://download.elastic.co/kibana/kibana/kibana-4.6.0-linux-x86_64.tar.gz
sudo tar -zxf kibana-4.6.0-linux-x86_64.tar.gz
sudo mv kibana-4.6.0-linux-x86_64 /usr/local/kibana
3.2 配置
更改相关配置:
cd /usr/local/kibana
vim config/kibana.ymlserver.port: 5601 server.host: "127.0.0.1"elasticsearch.url: "http://10.0.0.23:9200"
3.3 启动
sudo /usr/local/kibana/bin/kibana
4. tips
4.1 删除索引
curl -XDELETE 'http://127.0.0.1:9200/applog'
【ELK】ELK集群搭建(ElasticSearch Logstash Kinaba)相关推荐
- Centos7 安装ELK/EFK 7.x 集群搭建实战攻略
Centos7 安装ELK/EFK 7.x 集群搭建实战攻略 1.1 写在前面的话 1.2 开始之前 1.3 安装ELK/EFK 1.3.1 海量数据存储和检索-->E-->安装Elast ...
- 视频教程-ElasticSearch7.x集群搭建(es7)主从读写分离搭建教程-ELK
ElasticSearch7.x集群搭建(es7)主从读写分离搭建教程 10多年互联网一线实战经验,现就职于大型知名互联网企业,架构师, 有丰富实战经验和企业面试经验:曾就职于某上市培训机构数年,独特 ...
- ELK+Kafka集群日志分析系统
因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部署 3 2) Elasticsear ...
- elasticsearch集群搭建及springboot集成使用
elasticsearch集群搭建及springboot集成使用 1. ES介绍 2. 原理 2.1 核心概念 2.2 索引功能 2.3 ES特性 3. 分词器(analyzer) 4. 集群搭建 4 ...
- ELK+kafka集群实战
ELK+Kafka集群 前言 前言 业务层可以直接写入到kafka队列中,不用担心elasticsearch的写入效率问题. 图示 Kafka Apache kafka是消息中间件的一种,是一种分布式 ...
- elasticsearch集群搭建记录
elasticsearch集群搭建记录 一.集群服务器配置信息 二.安装 JDK 三.下载 ElasticSearch 安装包和中文分词器并解压 四.创建用于存放数据与日志的目录 五.集群配置 5.1 ...
- ELK入门——ELK详细介绍(ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍)
目录 主要参考链接 一.什么是ELK(端口9200) 主要特点: 1.存储:面向文档+JSON 2.检索:倒排+乐观锁 3.分析:监控+预警+可视化 4.支持集群 二.Logstash(端口5044) ...
- elasticsearch系列八:ES 集群管理(集群规划、集群搭建、集群管理)
一.集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个 ...
- ES安装的详细步骤、ES的集群搭建以及ElasticSearch安装时可能出现的问题
目录 什么是es? 正排索引和倒排索引 安装 ElasticSearch的简单步骤 环境需求 安装ES 下载 设置虚拟机内存 创建用户 安装 ES的目录结构及其作用 配置文件以及作用 修改配置文件el ...
- elasticsearch 集群搭建 + kibana配置
elasticsearch 集群搭建 + kibana配置 一.elasticsearch 集群搭建 1.下载并解压elasticsearch 2.ES集群搭建 2.1 打开防火墙9200,9300端 ...
最新文章
- Tomcat(四):tomcat图形管理和身份认证
- 配置apache+php环境详解
- 模拟四:STEMA 考试选择题模拟练习试卷(中级组)及答案 + 自我解题笔记
- centos7设置时间为日本东京时间
- Eclipse调试Logcat类的说明
- 【牛客 - 303B第十五届浙江大学宁波理工学院程序设计大赛(同步赛)】Fibonacci and Counting(Fib数性质,gcd辗转相除法性质)
- apache开源项目--Lens
- 分享WordPress博客搜索引擎优化的六点经验 博客园 cnbogs
- 我做PM(项目经理)这段时间...
- java lock代码写法_[代码全屏查看]-java lock的使用
- Mysql语句字符串拼接
- HTML5生日快乐代码 (烟花蛋糕+3D相册) HTML+CSS+JavaScript
- 【Python脚本进阶】2.4、conficker蠕虫(终)
- 基于DSP的温度采集系统设计
- 同步Chrome浏览器插件
- 数据中心优化专家Future Facilities公司推出6Sigma DCX最新版本
- html怎么做向下的图标,用CSS和Bootstrap图标制作上下跳动的指示箭头动画效果
- SQL基础语法_刘世民
- C. Two Shuffled Sequences
- 2020美容师(初级)操作证考试及美容师(初级)作业模拟考试