1、elasticsearch简介

elastic官网

2、安装及配置

官方下载网站

本次实验版本用7.6

[root@foundation50 ~]# cd /mnt/pub/docs/elk/7.6
[root@foundation50 7.6]# scp elasticsearch-7.6.1-x86_64.rpm server1:   将下载好的elasticsearch软件包拷贝到server1上
[root@server1 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm  安装
[root@server1 ~]# systemctl  daemon-reload
[root@server1 ~]# systemctl enable --now elasticsearch.service    启动单机版配置：
[root@server1 elasticsearch]# netstat -antlupe | grep :9200  查看对外服务端口9200
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      998        48431      13951/java           可以发现9200端口只能服务与回环接口本地，外部无法访问
tcp6       0      0 ::1:9200                :::*                    LISTEN      998        47898      13951/java
[root@server1 elasticsearch]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml   编辑配置文件

[root@server1 elasticsearch]# systemctl restart elasticsearch.service   重启服务
[root@server1 elasticsearch]# netstat -antlupe | grep :9200  查看9200端口
tcp6       0      0 :::9200                 :::*                    LISTEN      998        48775      14169/java          可以发现现在已经可以监听本机所有接口
tcp6       0      0 172.25.50.1:9200        172.25.50.250:34800     ESTABLISHED 998        48783      14169/java
tcp6       0      0 172.25.50.1:9200        172.25.50.250:34802     ESTABLISHED 998        48784      14169/java

访问 172.25.50.1:9200 访问成功

集群版配置
系统配置文档

需要设置限制：

[root@server1 elasticsearch]# vim /etc/security/limits.conf   编辑内核配置文件

nproc 4096 ##noproc 是代表最大进程数
elasticsearch - nofile 65535 ##nofile 是代表最大文件打开数

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service   编辑elasticsearch的ststemd的启动脚本

[root@server1 elasticsearch]# systemctl daemon-reload   重载systemctl服务

配置的集群

[root@server1 elasticsearch]# vim elasticsearch.yml   编辑配置文件，配置集群

[root@server1 elasticsearch]# systemctl restart elasticsearch.service   重启服务
[root@server1 elasticsearch]# swapoff -a  禁掉swap分区
[root@server1 elasticsearch]# vim /etc/fstab

同样在server2上安装并配置elasticsearch

[root@server1 elasticsearch]# ssh-keygen   做免密
[root@server1 elasticsearch]# ssh-copy-id server2:
[root@server1 elasticsearch]# ssh-copy-id server3:
[root@server1 ~]# scp elasticsearch-7.6.1-x86_64.rpm server2:   将elasticsearch软件包拷贝到server2上
[root@server1 ~]# scp elasticsearch-7.6.1-x86_64.rpm server3:  将elasticsearch软件包拷贝到server3上
[root@server2 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm   安装
[root@server2 ~]# cd /etc/elasticsearch/
[root@server2 elasticsearch]# vim elasticsearch.yml   编辑配置文件

[root@server2 elasticsearch]# vim /etc/security/limits.conf

[root@server2 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service   编辑elasticsearch的systemd启动脚本

[root@server2 elasticsearch]# systemctl daemon-reload   重载服务
[root@server2 elasticsearch]# swapoff -a  禁掉swap分区
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0[root@server2 elasticsearch]# systemctl enable --now elasticsearch.service   启动服务

访问172.25.50.2.9200 成功

在server3上安装并配置elasticsearch

[root@server1 ~]# scp elasticsearch-7.6.1-x86_64.rpm server3:
[root@server3 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm  安装
[root@server1 elasticsearch]# scp elasticsearch.yml server3:/etc/elasticsearch/  为了方便在server1上拷贝一份elasticsearch配置文件，然后稍加修改
node.name: server3   只需把节点改成server3即可
[root@server3 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service  编辑systemd启动脚本

[root@server3 elasticsearch]# systemctl daemon-reload    重载服务
[root@server3 elasticsearch]# vim /etc/security/limits.conf

[root@server3 elasticsearch]# swapoff -a   禁掉分区
[root@server3 elasticsearch]# vim /etc/fstab
/dev/mapper/rhel-swap   swap                    swap    defaults        0 0
[root@server3 elasticsearch]# systemctl enable --now elasticsearch.service   启动

访问172.25.50.3:9200 访问成功

3 elasticsearch图形化插件安装

使用docker安装

安装docker
[root@server4 ~]# cd /etc/yum.repos.d/
[root@server4 yum.repos.d]# vim docker.repo
[docker]
name=docker-ce
baseurl=http://172.25.50.250/docker-ce
gpgcheck=0
[root@server4 yum.repos.d]# yum install docker-ce -y   安装
[root@server4 yum.repos.d]# systemctl start docker  启动docker
[root@server4 yum.repos.d]# vim /etc/sysctl.d/docker.conf
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
[root@server4 yum.repos.d]# sysctl --system  生效
[root@foundation50 docker]# cd /mnt/pub/docker/
[root@foundation50 docker]# scp daemon.json server4:/etc/docker/   将daemon.json 加速器拷贝到server4上
[root@server4 docker]# systemctl reload docker.service   重载服务
[root@server4 docker]# docker pull lmenezes/cerebro  拉取镜像
[root@server4 docker]# docker run -d --name cerebro -p 9000:9000 lmenezes/cerebro   运行容器，并打入后台

另一种安装方式
官方文档

[root@foundation50 Desktop]# cd /mnt/pub/docs/elk/
[root@foundation50 7.6]# scp master.zip server4:    将下载的安装包拷贝到server4上
[root@foundation50 elk]# cd 6.6/
[root@foundation50 6.6]# scp nodejs-9.11.2-1nodesource.x86_64.rpm server4:  将下载的安装包拷贝到server4上
[root@server4 ~]# yum install unzip -y   下载解压工具
[root@server4 ~]# unzip master.zip    解压
[root@server4 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm   安装
root@server4 ~]# npm install -g cnpm --registry=https://registry.npm.taobao.org  升级npm更新源，使用国内镜像源
[root@server4 ~]# cnpm -v  查看，已经替换成功
cnpm@8.1.0 (/usr/lib/node_modules/cnpm/lib/parse_argv.js)
npm@6.14.17 (/usr/lib/node_modules/cnpm/node_modules/npm/lib/npm.js)
node@9.11.2 (/usr/bin/node)
npminstall@6.1.0 (/usr/lib/node_modules/cnpm/node_modules/npminstall/lib/index.js)
prefix=/usr
linux x64 3.10.0-957.el7.x86_64
registry=https://registry.npmmirror.com
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# cnpm install   加载所有nodejs依赖组件

[root@server4 elasticsearch-head-master]# yum install bzip2 -y  安装bzip2解压工具，因为加载nodejs依赖需要
[root@server4 phantomjs]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2   解压
[root@server4 phantomjs]# cd phantomjs-2.1.1-linux-x86_64
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server4 bin]# cp phantomjs /usr/local/bin/
[root@server4 bin]# phantomjs   运行
phantomjs: error while loading shared libraries: libfontconfig.so.1: cannot open shared object file: No such file or directory    发现有依赖性
[root@server4 bin]# yum provides */libfontconfig.so.1  搜索这个文件是那个包提供的

[root@server4 bin]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y  安装这个包，解决依赖性
[root@server4 bin]# phantomjs   运行，此时就可以运行了
phantomjs>
[root@server4 elasticsearch-head-master]# cnpm install  此时再运行，成功
✔ Installed 10 packages
✔ Linked 0 latest versions
✔ Run 0 scripts
✔ All packages installed (used 22ms(network 19ms), speed 0B/s, json 0(0B), tarball 0B, manifests cache hit 0, etag hit 0 / miss 0)
[root@server4 elasticsearch-head-master]# cd _site/
[root@server4 _site]# vim app.js

[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# cnpm run start &   打入后台运行

[root@server1 elasticsearch]# vim elasticsearch.yml   编辑配置文件

[root@server1 elasticsearch]# systemctl restart elasticsearch  重载elasticsearch服务

创建索引


方块为分片，线条粗的为主分片，线条细的为辅助分片上面都储存的数据，分片可以实现高可用

例子：让server3专心当master，不存储数据，server1、server2专门负责存储数据
（当前server3为master）

[root@server3 ~]# cd /etc/elasticsearch/
[root@server3 elasticsearch]# vim elasticsearch.yml    编辑

[root@server3 elasticsearch]# systemctl restart elasticsearch.service   重启
[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml

[root@server1 elasticsearch]# systemctl restart elasticsearch.service   重启

[root@server2 elasticsearch]# systemctl restart elasticsearch.service 重启

可以发现主分片和辅助分片发生了变化，server3上以前时主分片现在变成了server1

现在将server3上数据存储打开，server2数据存储关掉，不让存，但是都可以成为master，此时server2无法启动，需要将之前存储的数据清理掉

[root@server3 ~]# systemctl restart elasticsearch.service  重启

[root@server2 elasticsearch]# systemctl restart elasticsearch.service   重启时报错，
Job for elasticsearch.service failed because the control process exited with error code. See "systemctl status elasticsearch.service" and "journalctl -xe" for details.

[root@server2 elasticsearch]# cd /usr/share/
[root@server2 share]# cd elasticsearch/bin/
[root@server2 bin]# ./elasticsearch-node repurpose  清理数据
Do you want to proceed?
Confirm [y/N] y
Node successfully repurposed to master and no-data.
[root@server2 bin]# systemctl start elasticsearch  开启

访问 172.25.50.4:9200
server1成了master，分片被均衡到sever1上

ELK日志分析平台（一）—elasticsearch安装及配置、elasticsearch图形化插件安装相关推荐

1. 搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群

   笔记内容:搭建ELK日志分析平台(上)-- ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期:2018-03-02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装 ...

2. ELK日志分析平台-Elasticsearch搭建和异常处理

   一.介绍 1.1. ELK日志分析平台 (1)不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写. ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日 ...

3. ELK日志分析平台.1-搭建

   ELK日志分析平台.1-搭建 2017-12-28 | admin 一.简介 1.核心组成     ELK由Elasticsearch.Logstash和Kibana三部分组件组成:     Elas ...

4. ELK 日志分析平台 —— Logstash

   ELK 日志分析平台 -- Logstash 文章目录 ELK 日志分析平台 -- Logstash Logstash 简介 Logstash的工作原理 [注]:Logstash file插件 sin ...

5. 搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器

   27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是 ...

6. 企业项目实战---ELK日志分析平台之logstash数据采集（二）

   ELK日志分析平台 logstash数据采集 1.logstash简介 2.Logstash安装 3.标准输入到标准输出 4.标准输入到文件 5.标准输入到es主机 6.指定文件输入到es主机 7.s ...

7. logstash 吞吐量优化_1002-谈谈ELK日志分析平台的性能优化理念

   在生产环境中,我们为了更好的服务于业务,通常会通过优化的手段来实现服务对外的性能最大化,节省系统性能开支:关注我的朋友们都知道,前段时间一直在搞ELK,同时也记录在了个人的博客篇章中,从部署到各个服务 ...

8. 携程ELK日志分析平台深耕之路

   源起 日志,看似简单简单的文本,在网站运维人员眼里却似一座蕴含丰富的宝藏.通常以下运维任务都或多或少需要运维人员和日志打交道: 系统健康状况监控 查找故障根源 系统瓶颈诊断和调优 追踪安全相关问题 技 ...

9. 【Elastic Stack学习】ELK日志分析平台（一）ELK简介、ElasticSearch集群

   * ELK简介: ELK是Elasticsearch . Logstash.Kibana三个开源软件的缩写.ELK Stack 5.0版本之后新增Beats工具,因此,ELK Stack也改名为Ela ...

最新文章

1. JStorm与Storm源码分析（五）--SpoutOutputCollector与代理模式
2. 计算机高层应用,计算机网络中高层应用.ppt
3. SAP Fiori Application Generator 在 Visual Studio Code 启动时遇到的错误消息
4. 7-23 还原二叉树 (25 分)(分析加详解)
5. 后缀表达式的值（信息学奥赛一本通-T1331）
6. android picasso 三级缓存,Android中图片的三级缓存浅析
7. 【100题】第十八题（约瑟夫循环）
8. web文件上传（三）--webapi后台接收参数和文件
9. PCA主成分分析python实现
10. linux 系统硬件信息检测工具,在Linux上查找系统hwinfo硬件信息工具
11. 上位机使用C++通过ADS协议与倍福PLC通信例程-通过变量名方式读写浮点数
12. android开源系统brvah,BRVAH（让RecyclerView变得更高效）（1）
13. 基于Multisim的循环彩灯控制器仿真设计
14. 【unity记录】导入标准资源包（Standard Assets）
15. 光纤跳线接口_光纤认证测试——光纤跳线设置基准（一跳线法）
16. java 随机生成头像,ASP实现头像图像随机变换
17. 乐行科技获1.08亿元A轮融资，并推出艾特好车 1
18. 日天的终生大事(dp)
19. python dis模块
20. 工程师和他媳妇儿好玩的对话1——20160704

热门文章

1. 2019杭电多校 第七场 Kejin Player 6656（求期望值）
2. BZOJ4605：崂山白花蛇草水
3. 有趣的巴什博弈（Bash Game）
4. 编写Java程序，实现简单的五子棋博弈游戏（美和易思Java练习习题）
5. LaTex(PART X)数学公式的6种定义形式
6. 淘宝 API 开发步骤
7. 嵌入式程序员的几年的小心得
8. ubuntu下ati驱动安装
9. [笔记分享] [Tools] QPST使用过程
10. android自动登录简书,Android开发之简单登录界面