编程界的小学生

  • 一、Centos7安装Elasticsearch7.6.2
    • 1、下载
    • 2、安装
    • 3、进行配置
      • 3.1、修改elasticsearch.yml
      • 3.2、修改jvm参数
      • 3.3、修改sysctl.conf
      • 3.4、修改limits.conf
      • 3.5、reboot
      • 3.6、启动ES
      • 3.7、验证ES
      • 3.8、如外网无法访问
  • 二、Centos7安装Kibana7.6.2
    • 1、下载
    • 2、安装
    • 3、配置
    • 4、启动
    • 5、验证
  • 三、Centos7安装Logstash7.6.2且导入MovieLens数据集
    • 1、下载Logstash7.6.2
    • 2、解压Logstash7.6.2
    • 3、下载 MovieLens 测试数据集
    • 4、解压测试数据集
    • 5、创建 logstash.conf 文件,添加如下内容(Ruby 语法)
    • 6、导入数据
    • 7、验证数据是否导入成功
  • 四、Centos7安装Cerebro0.9.4
    • 1、下载
    • 2、安装
    • 3、启动
    • 4、验证

PS:已安装JDK,至少jdk8.x,最好jdk11。jdk8.x也可以,只是官方不建议哈。

一、Centos7安装Elasticsearch7.6.2

自己新建个账号,不能用root启动,ES不允许用root用户!
自己新建个账号,不能用root启动,ES不允许用root用户!
自己新建个账号,不能用root启动,ES不允许用root用户!

1、下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz

2、安装

tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz

3、进行配置

下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!
下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!
下面全部配置一定都要做!否则会报错的,具体报错信息不贴出来了,按照步骤做即可!

3.1、修改elasticsearch.yml

vi config/elasticsearch.yml# node节点名称,我这里叫node-1
node.name: node-1
# 配置成0.0.0.0代表可外网访问。
network.host: 0.0.0.0
# http访问端口
http.port: 9200
# 如下两个配置是数据文件位置和日志文件位置
# 个人建议别放到es目录下,因为会增大es目录体积不说,如果es目录丢失了的话,那数据和日志都丢了。
path.data: xxx
path.logs: xxx
# 哪些节点可以作为备选master节点,就是master挂了的话,这里面的节点可以有升级为M的资格。
# 自己业余玩的话可以默认不配就行
# discovery.seed_hosts: ["127.0.0.1", "[::1]"]
# 哪些节点在启动的时候就有资格成为Master,我们这里是单机,就一个node-1,所以配node-1就行
# 比如配置node-1和node-2,意味着启动的时候将从这两个节点之间选择一个成为Master
cluster.initial_master_nodes: ["node-1"]

3.2、修改jvm参数

ES7.x后默认jvm堆大小是1GB,这个根据自己内存情况来选择是否修改。

vim config/jvm.options-Xms512m
-Xmx512m

ES官方blog配置建议:

  • Xmx和Xms设置成一样的。
  • 不要超过机器内存的50%
  • 不要超过30GB

3.3、修改sysctl.conf

root用户修改,全局生效。

vim /etc/sysctl.conf# 在最后添加如下
vm.max_map_count = 655360

3.4、修改limits.conf

vim /etc/security/limits.conf# 在最后添加如下,其中chentongwei是我ES的启动用户
chentongwei soft nofile 65536
chentongwei hard nofile 65536
chentongwei soft nproc 4096
chentongwei hard nproc 4096

3.5、reboot

是的,没错,为了100%能成功,上面配置都修改完成后,reboot,让配置生效!

3.6、启动ES

cd elasticsearch-7.6.2/
# -d 代表后台启动
./bin/elasticsearch -d

3.7、验证ES

输入http://ip:9200/,如出现下面信息,则代表成功:

3.8、如外网无法访问

  • 请检查你的防火墙(要么关闭,要么端口开放出去)
  • 请检查你的安全组(如果是云服务器的话,请看安全组入口规则)
  • 前两步确认没问题的话,请配置如下:(正常情况ES7.x不需要配置就可以)
vi config/elasticsearch.yml# 开启跨域访问支持,默认为false
http.cors.enabled: true
# 跨域访问允许的域名地址,(允许所有域名)以上使用正则
http.cors.allow-origin: "*"

二、Centos7安装Kibana7.6.2

1、下载

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz

2、安装

tar -xvf kibana-7.6.2-linux-x86_64.tar.gz

3、配置

cd kibana-7.6.2-linux-x86_64
vi config/kibana.yml

修改如下内容

# 默认值5601,没有需要可以不修改
server.port: 5601
# 允许远程访问,也可以直接设置为“0.0.0.0”
server.host: "192.168.1.10"
# 默认值http://localhost:9200
elasticsearch.url: "http://192.168.1.10:9200"

4、启动

./bin/kibana# 后台启动
# nohup ./bin/kibana &

5、验证

输入网址http://ip:5601/,能正常打开即代表成功。

三、Centos7安装Logstash7.6.2且导入MovieLens数据集

1、下载Logstash7.6.2

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.tar.gz

2、解压Logstash7.6.2

tar -zxf logstash-7.6.2.tar.gz

3、下载 MovieLens 测试数据集

cd logstash-7.6.2/wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip

4、解压测试数据集

yum install unzip
unzip ml-latest-small.zip

5、创建 logstash.conf 文件,添加如下内容(Ruby 语法)

touch config/logstash.conf
vi config/logstash.conf

复制如下内容到logstash.confpath和ES地址都改成自己的。

input {file {path => "/home/chentongwei/devtools/logstash-7.6.2/ml-latest-small/movies.csv"start_position => "beginning"sincedb_path => "/dev/null"}
}
filter {csv {separator => ","columns => ["id","content","genre"]}mutate {split => { "genre" => "|" }remove_field => ["path", "host","@timestamp","message"]}mutate {split => ["content", "("]add_field => { "title" => "%{[content][0]}"}add_field => { "year" => "%{[content][2]}"}}mutate {convert => {"year" => "integer"}strip => ["title"]remove_field => ["path", "host","@timestamp","message","content"]}
}
output {elasticsearch {hosts => "http://172.17.160.29:9200"index => "movies"document_id => "%{id}"}stdout {}
}

6、导入数据

导入后不会自动退出,需要用 Ctrl-C 手动退出

./bin/logstash -f ./config/logstash.conf

回车后没反应的话,等几秒钟,因为量太大,需要导入的时间。

7、验证数据是否导入成功

http://ip:9200/_cat/indices,可以看到movies的索引已经存在了,且doc数是9743,大功告成!

四、Centos7安装Cerebro0.9.4

1、下载

wget 'https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.zip'

2、安装

直接解压即可tar -xvf cerebro-0.9.4.tgz

3、启动

cd cerebro-0.9.4/
./bin/cerebro# 后台启动
# nohup ./bin/cerebro &

4、验证

直接访问网址http://ip:9000/,出现如下界面代表安装成功:

在Node address里输入ES地址,如:http://ip:9200/,点击Connect即可。

【微信公众号】

一文搞定Centos7.x安装ELK的7.6.2版本以及Cerebro集群监控相关推荐

  1. 一文搞定Nginx的安装与高可用配置

    一.Nginx安装 1.去官网http://nginx.org/下载对应的nginx包,推荐使用稳定版本 2.上传nginx到linux系统 3.安装依赖环境 (1)安装gcc环境 yum insta ...

  2. ELK学习笔记之Kibana权限控制和集群监控

    详细请参考如下四篇博客,注意ELK6中移除了Xpack的默认账户和密码,需要手动设置 Kibana安全特性之权限控制 ELK 集群 Kibana 使用 X-Pack 权限控制,监控集群状态,警报,监视 ...

  3. 一文搞定vim,从安装到入门到精通,助你成功入门vim

    一文搞定vim,从安装到入门到精通 NO.1 闲聊 NO.2 安装(不是重点!觉得这部分讲的不清楚可以去找一篇win下安装vim的文章来看,然后跳去NO.3接着看) NO3. 文章核心重点-vim使用 ...

  4. 一文搞定Qt读写excel以及qt读写xml数据

    一文搞定Qt读写excel以及qt读写xml数据 最终的实现效果图 RC_ICONS = logo.ico .pro文件同级目录下加入 logo.ico 图标文件,运行文件,文件的图标就被写入软件 u ...

  5. 【嵌入式开发-AD19】六文搞定Altium Designer-第一章:AD介绍及原理图库的创建

    [嵌入式开发-AD19]六文搞定Altium Designer-第一章:AD介绍及原理图库的创建 在文章的开头我想首先简单介绍一下国产全免费EDA软件,嘉立创EDA.嘉立创EDA拥有网页版和安装版两种 ...

  6. 从0开始CentOS7上安装ELK,实现日志收集

    从0开始CentOS7上安装ELK实现日志收集 1. ELK Stack 简介 2. 组件下载 2.1 安装环境及版本 2.2 下载安装包 3.安装 3.1 ElasticSearch安装 3.1.1 ...

  7. 【量化交易行情不够快?】一文搞定通过Win10 wsl2 +Ubuntu+redis+pickle实现股票行情极速读写

    一文搞定通过Win10 wsl2 +Ubuntu+redis+pickle实现股票行情极速读写 前言 一.准备环境分四步 1.1 给Win10装wsl2 硬件开启虚拟化 软件开启虚拟化及安装适用于Li ...

  8. php带参数单元测试_一文搞定单元测试核心概念

    基础概念 单元测试(unittesting),是指对软件中的最小可测试单元进行检查和验证,这里的最小可测试单元通常是指函数或者类.单元测试是即所谓的白盒测试,一般由开发人员负责测试,因为开发人员知道被 ...

  9. 【Python基础】一文搞定pandas的数据合并

    作者:来源于读者投稿 出品:Python数据之道 一文搞定pandas的数据合并 在实际处理数据业务需求中,我们经常会遇到这样的需求:将多个表连接起来再进行数据的处理和分析,类似SQL中的连接查询功能 ...

最新文章

  1. 深入理解padding_idx(nn.Embedding、nn.Embedding.from_pretrained)
  2. extjs window显示在顶层
  3. 如何向 Microsoft 管理控制台添加证书管理器
  4. Linux内核逻辑结构
  5. C#操作 MongoDB【原创】
  6. MAC地址与IP地址
  7. 2016宁波计算机程序复赛,宁波第31届中小学生计算机程序设计竞赛复赛试题小学组.PDF...
  8. spark eventLoop模型
  9. python中 str 和 repr_Python中__repr__和__str__区别详解
  10. 一个服务器端和多个客户端消息互发_python:OSError: [WinError 10022] 提供了一个无效的参数...
  11. 【转】ASP.NET Core WebApi使用Swagger生成api说明文档看这篇就够了
  12. [转]五个值得关注的图形数据库
  13. 27. Element nodeType 属性
  14. NOD32 2.7、3.0最新升级ID 每天实时同步更新
  15. C++ 中两个数据交换总结
  16. 单片机交通灯实训c语言编程,单片机交通灯程序(C语言).docx
  17. python 中的socket_python中的socket概述
  18. 文件上传和下载的常用测试点
  19. 计算机网络常见面试题总结
  20. 常用的几种红外接收器

热门文章

  1. speedoffice使用方法-Word如何分栏
  2. 在Windows下搭建React Native Android开发环境常见问题
  3. python可视化库matplotlib_环境搭建 | Python 数据可视化库 Matplotlib 快速入门之一-阿里云开发者社区...
  4. SMT操作员是做什么的?工作职责?
  5. Vue 2.x折腾记 - (16) 基于Ant Design Vue 封装一个配置式的表单搜索组件
  6. 一款无需安装,免费下载全景图的网站
  7. html中表格边框好看的样式,table完美css样式 table表格边框样式
  8. 《kafka面试100例 -6》如果在/admin/delete_topics/中手动写入一个节点会不会正常删除Topic
  9. Erlang数据结构篇 -- array
  10. Html5 Egret游戏开发 成语大挑战(八)一般性二级页面处理