一、Elasticsearch 集群环境准备
### --- hadoop01~03修改系统配置:修改/etc/sysctl.conf~~~     # 修改/etc/sysctl.conf
[root@hadoop01 ~]# vim /etc/sysctl.conf
~~~在文件末尾添加如下参数
vm.max_map_count=655360

~~~     # 执行sysctl -p 让其生效[root@hadoop01 ~]# sysctl -p

### --- 修改/etc/security/limits.conf~~~     # 修改linux系统对文件描述符的限制级别
[root@hadoop01 ~]# vim /etc/security/limits.conf
~~~     # 在文件末尾添加如下参数
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096

### --- 准备工作:创建es用户~~~     # hadoop01~03创建es用户(必须),因为es不能用root用户启动
[root@hadoop01 ~]# useradd es
[root@hadoop01 ~]# passwd es
New password:123456

~~~     # hadoop01~03使用root用户执行visudo然后为es用户添加权限[root@hadoop01 ~]# vim /etc/sudoers
~~~     # 第101行添加如下内容
es ALL=(ALL) ALL

### --- 使用root用户创建工作目录~~~     # hadoop01~03创建es环境目录
[root@hadoop01 ~]# mkdir -p /opt/yanqi/servers/es
[root@hadoop01 ~]# mkdir -p /opt/yanqi/servers/es/data/es
[root@hadoop01 ~]# mkdir -p /opt/yanqi/servers/es/logs/es
[root@hadoop01 ~]# chown -R es /opt/yanqi/servers/es
[root@hadoop01 ~]# chown -R es /opt/yanqi/servers/es/data/es
[root@hadoop01 ~]# chown -R es /opt/yanqi/servers/es/logs/es

二、elasticsearch分布式部署:Hadoop01
### --- 分布式安装部署:# 使用es用户连接服务器~~~     # hadoop01解压版本包
[es@hadoop01 software]$ tar -zxvf elasticsearch-7.3.0-linux-x86_64.tar.gz -C ../servers/es/
~~~     # 修改版本包名称
[es@hadoop01 ~]$ mv /opt/yanqi/servers/es/elasticsearch-7.3.0/ /opt/yanqi/servers/es/elasticsearch

### --- 修改配置文件:elasticsearch.yml配置文件说明:~~~     # hadoop01下修改es配置文件参数:
[es@hadoop01 ~]$ vim /opt/yanqi/servers/es/elasticsearch/config/elasticsearch.yml~~~    第17行:集群名字
cluster.name: myes~~~    第23行:集群中当前的节点
node.name: hadoop01~~~    第33行:数据目录
path.data: /opt/yanqi/servers/es/data/es~~~    第37行:日志目录
path.logs: /opt/yanqi/servers/es/logs/es~~~    第55/59行:当前主机的ip地址:ECS使用内网地址
network.host: hadoop01
http.port: 9200~~~    第72行:初始化一个新的集群时需要此配置来选举master:ECS使用内网地址
cluster.initial_master_nodes: ["hadoop01","hadoop02","hadoop03"]~~~    第68行:写入候选主节点的设备地址
discovery.seed_hosts: ["hadoop01","hadoop02","hadoop03"]~~~    第89/90行:行尾添加: 跨域,适用于所有域名
http.cors.enabled: true
http.cors.allow-origin: "*"

### --- 安装包分发到其他两台机器上~~~     # hadoop01节点发送es版本包到其它主机
[es@hadoop01 ~]$ cd /opt/yanqi/servers/es/
[es@hadoop01 es]$ scp -r elasticsearch/ hadoop02:$PWD
[es@hadoop01 es]$ scp -r elasticsearch/ hadoop03:$PWD

三、elasticsearch分布式部署:Hadoop02/hadoop03
### --- hadoop02主机修改elasticsearch.yaml~~~     # hadoop02主机修改elasticsearch.yaml配置文件
[es@hadoop02 ~]$ vim /opt/yanqi/servers/es/elasticsearch/config/elasticsearch.yml~~~    第17行:集群名字
cluster.name: myes~~~    第23行:集群中当前的节点
node.name: hadoop02~~~    第33行:数据目录
path.data: /opt/yanqi/servers/es/data/es~~~    第37行:日志目录
path.logs: /opt/yanqi/servers/es/logs/es~~~    第55/59行:当前主机的ip地址
network.host: hadoop02
http.port: 9200~~~    第72行:初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["hadoop01","hadoop02","hadoop03"]~~~    第68行:写入候选主节点的设备地址
discovery.seed_hosts: ["hadoop01","hadoop02","hadoop03"]~~~    第89/90行:行尾添加: 跨域,适用于所有域名
http.cors.enabled: true
http.cors.allow-origin: "*"

### --- hadoop03主机修改elasticsearch.yaml~~~     # hadoop03主机修改elasticsearch.yaml配置文件
[es@hadoop03 ~]$ vim /opt/yanqi/servers/es/elasticsearch/config/elasticsearch.yml~~~    第17行:集群名字17 cluster.name: myes~~~    第23行:集群中当前的节点23 node.name: hadoop03~~~    第33行:数据目录33 path.data: /opt/yanqi/servers/es/data/es~~~    第37行:日志目录37 path.logs: /opt/yanqi/servers/es/logs/es~~~    第55/59行:当前主机的ip地址55 network.host: hadoop0359 http.port: 9200~~~    第72行:初始化一个新的集群时需要此配置来选举master72 cluster.initial_master_nodes: ["hadoop01","hadoop02","hadoop03"]~~~    第68行:写入候选主节点的设备地址68 discovery.seed_hosts: ["hadoop01","hadoop02","hadoop03"]~~~    第89/90行:行尾添加: 跨域,适用于所有域名89 http.cors.enabled: true90 http.cors.allow-origin: "*"

四、修改jvm内存参数大小
### --- hadoop01~03修改jvm内存大小[es@hadoop01 ~]$ vim /opt/yanqi/servers/es/elasticsearch/config/jvm.options~~~    第22~23行:修改内存
-Xms2g
-Xmx2g

五、启动es服务
### --- 启动es服务~~~     # hadoop01~03:后台启动es服务,要发现错误的话,去/opt/yanqi/servers/logs/es目录下查看。
[es@hadoop01 ~]$ nohup /opt/yanqi/servers/es/elasticsearch/bin/elasticsearch >/dev/null 2>&1 &
~~~     # 查看es服务进程
[es@hadoop01 ~]$ jps
1500 Elasticsearch[es@hadoop01 ~]$ ps -ef | grep 1500
es        1500  1279  8 14:49 pts/1    00:00:37 /opt/yanqi/servers/jdk1.8.0_231/bin/java -Xms512m -Xmx512m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Des.networkaddress.cache.ttl=60 -Des.networkaddress.cache.negative.ttl=10 -XX:+AlwaysPreTouch -Xss1m -Djava.awt.headless=true -Dfile.encoding=UTF-8 -Djna.nosys=true -XX:-OmitStackTraceInFastThrow -Dio.netty.noUnsafe=true -Dio.netty.noKeySetOptimization=true -Dio.netty.recycler.maxCapacityPerThread=0 -Dlog4j.shutdownHookEnabled=false -Dlog4j2.disable.jmx=true -Djava.io.tmpdir=/tmp/elasticsearch-7630453916949373570 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=data -XX:ErrorFile=logs/hs_err_pid%p.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationStoppedTime -Xloggc:logs/gc.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=32 -XX:GCLogFileSize=64m -Dio.netty.allocator.type=unpooled -XX:MaxDirectMemorySize=268435456 -Des.path.home=/opt/yanqi/servers/es/elasticsearch -Des.path.conf=/opt/yanqi/servers/es/elasticsearch/config -Des.distribution.flavor=default -Des.distribution.type=tar -Des.bundled_jdk=true -cp /opt/yanqi/servers/es/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch
es        1570  1500  0 14:49 pts/1    00:00:00 /opt/yanqi/servers/es/elasticsearch/modules/x-pack-ml/platform/linux-x86_64/bin/controller

### --- 访问es服务~~~     # http://hadoop01:9200/?pretty  ;pretty:格式化的,漂亮的。
~~~     # UI.输出参数
{"name" : "hadoop01","cluster_name" : "myes","cluster_uuid" : "dkCOn-auSUCJH42iBUSO1w","version" : {"number" : "7.3.0","build_flavor" : "default","build_type" : "tar","build_hash" : "de777fa","build_date" : "2019-07-24T18:30:11.767338Z","build_snapshot" : false,"lucene_version" : "8.1.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

~~~     # http://hadoop02:9200/?pretty  ;pretty:格式化的,漂亮的。
~~~     # UI.输出参数{"name" : "hadoop02","cluster_name" : "myes","cluster_uuid" : "dkCOn-auSUCJH42iBUSO1w","version" : {"number" : "7.3.0","build_flavor" : "default","build_type" : "tar","build_hash" : "de777fa","build_date" : "2019-07-24T18:30:11.767338Z","build_snapshot" : false,"lucene_version" : "8.1.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

~~~     # http://hadoop03:9200/?pretty  ;pretty:格式化的,漂亮的。
~~~     # UI.输出参数{"name" : "hadoop03","cluster_name" : "myes","cluster_uuid" : "dkCOn-auSUCJH42iBUSO1w","version" : {"number" : "7.3.0","build_flavor" : "default","build_type" : "tar","build_hash" : "de777fa","build_date" : "2019-07-24T18:30:11.767338Z","build_snapshot" : false,"lucene_version" : "8.1.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

附录一:elasticsearch.yml配置文件说明:
配置项 作用
cluster.name 集群名称,相同名称为一个集群
node.name  节点名称,集群模式下每个节点名称唯一
node.master 当前节点是否可以被选举为master节点,是:true、否:false
node.data 当前节点是否用于存储数据,是:true、否:false
path.data 索引数据存放的位置
path.logs 日志文件存放的位置
bootstrap.memory_lock 需求锁住物理内存,是:true、否:false
network.host 监听地址,用于访问该es
http.port es对外提供的http端口,默认 9200
transport.port 节点选举的通信端口 默认是9300
discovery.seed_hosts es7.x 之后新增的配置,
写入候选主节点的设备地址,在开启服务后可以被选为主节点
cluster.initial_master_nodes es7.x 之后新增的配置,
初始化一个新的集群时需要此配置来选举master
http.cors.enabled 是否支持跨域,是:true,在使用head插件时需要此配置
http.cors.allow-origin "" 表示支持所有域名

SS00003.elasticsearch——|HadoopElasticSearch集中式日志分析系统.v03|——|Elasticsearch.v03|相关推荐

  1. SS00014.elasticsearch——|HadoopElasticSearch集中式日志分析系统.v14|——|Elasticsearch.v14|

    一.Filebeat ### --- Filebeat~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所 ...

  2. ELK+Kafka集群日志分析系统

    因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部署 3 2) Elasticsear ...

  3. ES 集中式日志分析平台 Elastic Stack(介绍)

    一.ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地对数据进行搜索.分析和可视化. 最近查看 ELK 官方网站,发现新一代的日志采集器 File ...

  4. Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

    为什么80%的码农都做不了架构师?>>>    前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析.目前我们服务的用户包括微博.微盘.云存储.弹性计算平台等十多 ...

  5. 企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana)

    企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana) 前言 一.ELK概述 1.ELK日志分析系统 2.ELK日志处理特点 3.Elasticsearch概述 ...

  6. 中小型研发团队架构实践:集中式日志ELK

    一.集中式日志 日志可分为系统日志.应用日志以及业务日志,系统日志给运维人员使用,应用日志给研发人员使用,业务日志给业务操作人员使用.我们这里主要讲解应用日志,通过应用日志来了解应用的信息和状态,以及 ...

  7. ELK日志分析系统及相关

    目录 前言 一.ELK概述 1.ELK日志分析系统 2.ELK中日志处理步骤 二.Elasticsearch介绍 1.Elasticsearch的基础核心概念 2.mysql关系型数据库与Elasti ...

  8. 快速搭建ELK日志分析系统

    官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/i ...

  9. 超详细 ELK 日志分析系统

    文章目录 一.ELK日志分析系统简介 1:ELK日志分析系统组成 2:日志处理步骤 二:三款软件简介 1:Elasticsearch (1)Elasticsearch的概述 (2)Elasticsea ...

最新文章

  1. 窗口函数(防忘笔记)
  2. Lucene默认的打分算法——ES默认
  3. 配置Django实现数据库读写分离
  4. PHP IDE phpstorm 快捷键
  5. mysql字符集排序规则_Mysql 字符集及排序规则
  6. Java面试准备:15个Java面试问题
  7. 七、华为鸿蒙HarmonyOS应用开发之Java UI框架、常用Text组件和Button组件使用
  8. 本地页面存1天的缓存
  9. 如何在linux查找虚拟机主机号_Linux主机名如何重命名?
  10. Hibernate简介
  11. 【Django 2021年最新版教程20】python for循环遍历queryset
  12. 各种密码在线转换网址
  13. 性能测试案例模板 性能测试用例模板 测试案例 性能用例 模板 容我想想之性能测试系列培训...
  14. MP3标题重命名以及文本去掉模板尾巴
  15. 经典的01背包问题(挖金矿)
  16. UE4 Sequencer的事件调用
  17. 怎样用CSS画一个三角形
  18. Python发送多附件邮件的方法
  19. 计算机桌面无喇叭显示器,电脑屏幕下面有小喇叭图标但是没有声音怎么处理
  20. “芯片”=“集成电路”=“半导体”吗?

热门文章

  1. ubuntu终端美化之zsh/oh-my-zsh
  2. 如何只需三步搭建一对一直播系统源码
  3. Quartus II SignalTap使用
  4. 机器人程序和计算机程序区别
  5. 所有人 把膝盖准备好,这份“保姆级”的RabbitMQ笔记,你不服不行
  6. 锁定乌镇2019世界互联网大会,5G无人驾驶汽车智慧开跑
  7. 蓝牙技术|蓝牙智能笔方案简介
  8. PX4从放弃到精通(二十六):GPS驱动
  9. 如何有效禁止qDebug的输出?qDebug().nospace()和noquote()的作用是什么?
  10. 如何使用Python将语音转换为文本,你知道吗?