Elasticsearch在Linux中的单节点部署和集群部署
目录
- 一、Elasticsearch简介
- 二、Linux单节点部署
- 1、软件下载解压
- 2、创建用户
- 3、修改配置文件
- 4、切换到刚刚创建的用户启动软件
- 5、测试
- 三、Linux集群配置
- 1、拷贝文件
- 2、修改配置文件
- 3、分别修改文件所有者
- 4、启动三个软件
- 5、测试
- 四、问题总结
- 1、在elasticsearch启动时如果报错内存不足
- (1)问题原因
- (2)解决办法
- 2、Exception in thread “main” org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore Likely root cause: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore
- (1)问题原因
- (2)解决办法
- 3、如果所有配置完成并且全都可以正常启动,只是node.total不等于3
- (1)问题原因
- (2)解决办法
一、Elasticsearch简介
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”)。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。
Elasticsearch使用Lucene,并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating,如果新文档与注册查询匹配,这对于通知非常有用。另一个特性称为“网关”,处理索引的长期持久性;例如,在服务器崩溃的情况下,可以从网关恢复索引。Elasticsearch支持实时GET请求,适合作为NoSQL数据存储,但缺少分布式事务。
二、Linux单节点部署
官方地址:https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0
具体下载地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
1、软件下载解压
# 下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz
# 解压
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 改名
mv elasticsearch-7.8.0 es
2、创建用户
因为安全问题,Elasticsearch 不允许 root 用户直接运行,所以要创建新用户,在 root 用户中创建新用户。
useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了,可以删除再加
chown -R es:es /opt/module/es #文件夹所有者
3、修改配置文件
修改 /opt/soft/es/config/elasticsearch.yml 文件,加入一下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
修改 /etc/security/limits.conf ,在文件末尾加上如下配置
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
修改 /etc/security/limits.d/20-nproc.conf,在文件末尾加上如下配置
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注:* 带表 Linux 所有用户名称
修改 /etc/sysctl.conf,在文件末尾加上如下配置
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
重新加载配置
sysctl -p
4、切换到刚刚创建的用户启动软件
# 切换用户
su es
# 启动软件
./bin/elasticsearch
# 后台启动
./bin/elasticsearch -d
启动时,会动态生成文件,如果文件所属用户不匹配,会发生错误,需要重新进行修改用户和用户组。
chown -R es:es /opt/module/es
5、测试
关闭Linux的防火墙
systemctl stop firewalld
在浏览器中访问http://linxuip:9200/
注意:linxuip修改为自己Linux的IP地址
如果浏览器中出现如下JSON即为部署成功
{"name" : "node-1","cluster_name" : "elasticsearch","cluster_uuid" : "T4Lhwgb1QZCRXQf3mWHbbg","version" : {"number" : "7.8.0","build_flavor" : "default","build_type" : "tar","build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65","build_date" : "2020-06-14T19:35:50.234439Z","build_snapshot" : false,"lucene_version" : "8.5.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}
三、Linux集群配置
下面我们开始配置Elasticsearch集群环境
1、拷贝文件
首先我们讲es文件夹拷贝三份,并分别命名
cp -r es esA
cp -r es esB
cp -r es esC
2、修改配置文件
修改 /opt/soft/esA/config/elasticsearch.yml 文件
# 集群名称,保证唯一(每个集群中相同,不同集群间唯一)
cluster.name: icoding-course
# 节点名称,必须不一样
node.name: icoding-1
# 是不是有资格成为主节点
node.master: true
# 是否存储数据
node.data: true
# 最大集群节点数
node.max_local_storage_nodes: 3
# ip地址(0.0.0.0为允许所有地址访问)
network.host: 0.0.0.0
# 端口
http.port: 9100
# 内部节点之间沟通端口
transport.tcp.port: 9301
#es7.x 之后新增的配置,节点发现
discovery.seed_hosts: ["localhost:9301","localhost:9302","localhost:9303"]
#es7.x 之后新增的配置,初始化一个新的集群时需要次配置来选举master
cluster.initial_master_nodes: ["icoding-1"]
#数据和存储路径
path.data: /opt/data
path.logs: /opt/logs#如果是CentOS 6版本 加入以下两行
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
注意:以上配置以esA为实例,另外两台的node.name、http.port、transport.tcp.port要注意修改,不可重复
集群部署中也应该配置单节点配置文件的后三步,但修改的配置完全相同,所以这里就不再赘述了
重新加载
sysctl -p
3、分别修改文件所有者
将上面三个es文件的所有者都修改为我们单节点部署时创建的新用户
chmod -R es:es esA
chmod -R es:es esB
chmod -R es:es esC
4、启动三个软件
/opt/soft/seA/bin/elasticsearch
/opt/soft/seB/bin/elasticsearch
/opt/soft/seC/bin/elasticsearch
5、测试
访问http://[Linux IP地址]:[端口号]/_cat/health?v
如果返回的node.total是3,代表集群搭建成功
四、问题总结
1、在elasticsearch启动时如果报错内存不足
(1)问题原因
默认情况下,ES启动JVM最小内存1G,最大内存1G,通常情况下我们在安装Linux虚拟机是不会分配过多的内存,所以导致es启动时内存不足
(2)解决办法
vim /opt/soft/esA/config/jvm.options
vim /opt/soft/esB/config/jvm.options
vim /opt/soft/esC/config/jvm.options
修改为以下配置(如果太小也可能运行不了,视自己的情况而定)
-Xms256m
-Xmx256m
2、Exception in thread “main” org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore Likely root cause: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore
(1)问题原因
当前用户没有 elasticsearch.keystore 这个动态文件的权限
(2)解决办法
使用root用户删除 elasticsearch.keystore 文件后用创建的用户重新启动即可
3、如果所有配置完成并且全都可以正常启动,只是node.total不等于3
(1)问题原因
3个es库中的数据不同步,相互影响
(2)解决办法
将三个es文件夹中 data 下的文件全部删除再重新启动即可
注意:如果data下有重要数据,记得备份后再进行删除操作
Elasticsearch在Linux中的单节点部署和集群部署相关推荐
- Kubernetes单节点部署----二进制集群部署(ETCD集群+Flannel网络)
文章目录 环境部署 开局优化 master节点操作etcd 集群部署 开始制作证书 node节点加入ETCD集群(实现内部通信) node1/2节点操作 docker安装 flannel网络配置 ma ...
- 永洪Bi架构部署与集群部署
永洪Bi架构部署与集群部署 永洪Bi是一款先进的数据技术与数据可视化的一站式大数据分析平台.他的优势在于:1.可靠的多数据源对接能力:2.丰富精致的数据图表样式:3.灵活高效的可视化探索式分析:4 ...
- 服务器分布式部署和集群部署的区别
服务器分布式部署和集群部署的区别 1.分布式部署 分布式是以缩短单个任务的执行时间来提升效率的:分布式是将不同的业务分布在不同的地方: 2.集群部署 集群是将几台服务器集中在一起,实现同一业务:集群是 ...
- MySQL 部署MHA集群部署
目录 MySQL 部署MHA集群部署 MHA集群概述 MHA介绍 MHA简介 MHA组成 MHA工作过程 MHA集群架构 MHA工作过程 拓扑结构 IP规划 拓扑图 部署MHA集群 准备集群环境 安装 ...
- zookeeper的单实例和伪集群部署
原文链接: http://gudaoyufu.com/?p=1395 zookeeper工作方式 ZooKeeper 是一个开源的分布式协调服务,由雅虎创建,是 Google Chubby 的开源实现 ...
- mysql集群 solr_Solr单机部署和集群部署
用到的相关jar包:http://pan.baidu.com/disk/home#list/path=%2Fsolr Solr目录结构 Solr 目录 Contrib :solr 为了增强自身的功能, ...
- ElasticSearch2.4.6的安装部署以及集群部署、ElasticSearch-head等插件的安装
2019独角兽企业重金招聘Python工程师标准>>> 一.安装 在安装之前,请先设置jdk环境,到oracle官网下载相应的jdk版本,我这边使用的是jdk1.7的版本 vim / ...
- 架构师之路 — 部署架构 — 集群部署
目录 文章目录 目录 集群定义 集群类型 Scale On(纵向扩展) Scale Out(横向扩展) Load Balancing(负载均衡集群) High Availability(高可用集群) ...
- Redis单台的安装部署及集群部署
Redis是一种高级key-value数据库.它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富.有字符串,链表,集 合和有序集合.支持在服务器端计算集合的并,交和补集(diff ...
最新文章
- JUnit4用法详解
- namespace命名空间的理解C++
- 分层模型:OSI与TCP/IP
- linux单机到单机adg环境,Oracle 11.2.0.4 DataGuard 环境打PSU,OJVM PSU补丁快速参考
- [fzu 2273]判断两个三角形的位置关系
- ISO 27001解读(二)风险评估
- 拼多多打印订单有哪些软件?哪个软件好用呢?
- 系统架构设计——使用结构图分解复杂系统
- Flutter入门进阶之旅(六)Layout Widget
- 解决win10 phptoshop #fff纯白不是这样的白 显示器高级的问题
- 介绍dbt,ETL和ELT Disrupter
- nc6单据模板设置没有可选的模板问题解决
- m5stack——基于语音交互模块的物联居家管理系统 (STM32F103ZET6开发板+UART通信)
- 个人主页设计-web前端开发技术(html+css)
- 如何将英文文献完整翻译?公式都可以快速完整插入,比淘宝上的机翻要强一百倍!
- Visual C++ 2013 and Visual C++ Redistributable
- chatGPT的49种应用场景,双AI生成二次元仙女,及各开发语言对接chatGPT参考指南
- sealos快速部署k8s集群
- 《Deep Modular Co-Attention Networks for Visual Question Answering》论文翻译
- 拼多多加密后token破解与还原
热门文章
- 2022年中国高校计算机大赛-团队程序设计天梯赛(GPLT)上海理工大学校内选拔赛 题解
- 12JQuery基础笔记
- 电脑无法打开计算机是怎么回事,电脑的office软件突然打不开怎么办
- oracle在服务器unix怎么登录,为UNIX服务器设置Oracle全文检索
- 破壳问答 | 收集问题
- 树莓派+多个微雪电子Serial Expansion HAT扩展板叠加方法(扩展多个IO口、串口)
- sqoop job 作业
- 【Unity】Asset Pipeline Version 2(Asset Database v2)内部细节
- person_reID
- PowerApps入门——PowerApps的3种打开方式