ES学习构建EKL海量日志分析平台

下往上看

1.Gateway代表ES数据持久化概念，ES建立索引默认存储在内存，ES只有当内存不足或关闭重新启动的情况下才持久化到磁盘里面，支持多种Gateway。

2.lucene Directory它是lucene 索引文件组成的一些目录，负责管理一些索引文件和数据的读取写入（添加删除合并等等）

3.River 代表一个数据源，以插件的形式读取数据方式。

4.Mapping 映射（申明类型）

5.Search Module 和 Index Module 搜索模块和索引模块

6.Discovery负责集群节点自动发现和msater节点选举（不会存在单点故障出现）广播的方式进行通信

7.Scripting 脚本语言，支持多种自定义查询语言

8.Transport传输协议默认使用TCP协议进行交互同时支持HTTP协议Thrift和memcached

9.上层有各种API对EC进行操作

es安装：

用es用户安装

JDK安装：

#安装java环境

vim /etc/profile

export JAVA_HOME=/usr/local/jdk11

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

EC安装：

1.下载

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.0-linux-x86_64.tar.gz

2.解压

tar -xvf elasticsearch-7.9.0-linux-x86_64.tar.gz

3.配置：

3.安装

cd elasticsearch-7.9.0/bin ./elasticsearch -d

4.报错问题处理

问题1：ERROR: [1]max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

解决办法： root用户

vim /etc/security/limits.conf

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

vim /etc/sysctl.conf

echo "vm.max_map_count=262144" >> /etc/sysctl.conf # sysctl -p #使修改立即生效

问题2：ERROR: [1] bootstrap checks failed

[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

解决办法： node.name: node-1

cluster.initial_master_nodes: ["node-1"]

yum install nodejs npm git -y

git clone git://github.com/mobz/elasticsearch-head.git

curl -XPUT 'http://master:9200/test/'

curl -H "Content-Type: application/json" -XPOST http://master:9200/test/user/1 -d'{"name":"jack","age":28}'

curl -H "Content-Type: application/json" -XPUT http://master:9200/test/user/1 -d'{"name":"js","age":29}'

curl -XGET http://master:9200/test/user/1

curl -XGET 'http://master:9200/test/user/1?_source=name&pretty'

查询所有

curl -XGET http://master:9200/test/user/_search?pretty

条件查找

curl -XGET 'http://master:9200/test/user/_search?q=name:jack&pretty=true'

curl -H "Content-Type: application/json" -XPUT http://master:9200/test/user/4/_create -d'{"name":"pipi","age":17}'

curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_search -d'{"query":{"match":{"name":"pipi"}}}'

curl -H "Content-Type: application/json" -XPOST http://master:9200/test2/user/1/_create -d'{"name":"nick","age":16}'

curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_mget?pretty -d'{"docs":[{"_id":1},{"_id":2}]}'

curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_mget?pretty -d'{"ids":["1","2"]}'

ES学习构建EKL海量日志分析平台相关推荐

视频教程-【2019精品课】构建ELK海量日志分析平台-ELK
[2019精品课]构建ELK海量日志分析平台 10年一线开发及项目管理经验,6年以上大数据项目架构.实施.开发与运维经验,骨灰级大数据玩家,对Hadoop.Storm.Spark.Flink.Kyli ...
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台(elk5.2+filebeat2.11)
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台参考:http://www.tuicool.com/articles/R77fieA 我在做ELK日志平台开始之初选择为 ...
搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器
27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志本文是 ...
ELK实时日志分析平台环境部署--完整记录
在日常运维工作中,对于系统和业务日志的处理尤为重要.今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ ==== ...
WOT演讲回顾——海量日志分析与智能运维
以下内容根据日志易创始人 & CEO 陈军在 WOT 全球人工智能技术峰会上的演讲整理而成,全文大约7000字,阅读时长10分钟. 大家好,今天我演讲的主题是<海量日志分析与智能运维&g ...
实时海量日志分析系统的架构设计、实现以及思考
1 序对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标(如单位时间某些操作的处理时间),发现系统中出现的缺陷和性能瓶颈. 由于需要对日志进 ...
手把手教你搭建 ELK 实时日志分析平台
来自:武培轩本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢? ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch.Logstash ...
大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
logstash 吞吐量优化_1002-谈谈ELK日志分析平台的性能优化理念
在生产环境中,我们为了更好的服务于业务,通常会通过优化的手段来实现服务对外的性能最大化,节省系统性能开支:关注我的朋友们都知道,前段时间一直在搞ELK,同时也记录在了个人的博客篇章中,从部署到各个服务 ...

ES学习构建EKL海量日志分析平台

ES学习构建EKL海量日志分析平台相关推荐

最新文章

热门文章