EKL相关(一)、安装环境
服务器环境是CentOS Linux release 7.7.1908 (Core),正常来说Centos7以上都可以的,前提是有java8的环境(保证java命令可用),如果不清楚可以百度哈
1、下载ELK的包:
下载地址:https://www.elastic.co/downloads
下载最新版的、linux服务器能使用的。
右键复制链接地址,wget就可以下载,你创建的你目录后,进入,执行命令:wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz
下载完,解压,如: tar -zxvf elasticsearch-6.4.3.tar.gz
弄完了如下图:
2、elasticsearch配置启动
先看下java -version看下版本:java是不1.8的
然后进入config目录:cd elasticsearch-6.4.2/config,vim elasticsearch.yml 修改配置文件,在末尾加入如下几行:
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
注意,root用户是不能直接启动elasticsearch的,需要新建用户,然后切换用户去启动elasticsearch,如下:
创建elsearch用户组及elsearch用户
groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
更改
elasticsearch-6.4.2
文件夹及内部文件的所属用户及组为elsearch:elsearch
cd切换到elasticsearch-6.4.3的父路径下
chown -R elsearch:elsearch elasticsearch-6.4.3
切换到elsearch用户再启动
su elsearch
cd elasticsearch-6.4.3/bin
sh elasticsearch &
启动会发现一堆错误如下:
当然实际上一个是max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
还有一个是:max number of threads [3818] for user [es] is too low, increase to at least [4096]
你需要加点东西(回到root中修改):
1、max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
每个进程最大同时打开文件数太小,可通过下面2个命令查看当前数量
ulimit -Hn ulimit -Sn
修改/etc/security/limits.conf文件,增加配置,用户退出后重新登录生效
* soft nofile 65536 * hard nofile 65536
2、max number of threads [3818] for user [es] is too low, increase to at least [4096]
问题同上,最大线程个数太低。修改配置文件/etc/security/limits.conf(和问题1是一个文件),增加配置
* soft nproc 4096 * hard nproc 4096
可通过命令查看
ulimit -Hu ulimit -Su
修改后的文件:
3、max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
修改/etc/sysctl.conf文件,增加配置vm.max_map_count=262144
记得切换下root用户,或者你新开一个窗口就可以生效了,服务器不用重启的!
然后再进bin下
sh elasticsearch &
至此,elasticsearch配置启动完毕,可以在浏览器输入url: 服务器外网ip:9200 查看是否成功启动:
3、安装kibana
3.1下载 kibana(版本最好和elastic一致)
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz
3.2 解压
tar -zxvf kibana-6.8.4-linux-x86_64.tar.gz
3.3 修改kibana.yml
vi config/kibana.yml #端口
server.port: 5601
#服务Ip
server.host: "192.168.1.40"
#服务名
server.name: "kibana"
#ES地址
elasticsearch.hosts: ["http://192.168.1.40:9200"]
3.4 启动
自己写一个start.sh加上下面,路径根据你实际情况来nohup ./bin/kibana >nohup.out 2>&1 &
3.5 截图
4、安装logstach
老样子:wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz
新建文件 vim logstash1.conf ,写入内容(监听tomcat的日志):
启动logstash:sh logstash -f logstash1.conf &
如果提示--path.data的问题,则需要指定path.data的路径,随便找个路径就行,
我的是这样启动:sh logstash -f logstash1.conf --path.data=/home/elk/logstash-6.4.2/logs &
完了可以看到kibana上面有logstash推送过去的日志了
logstash配置mysql数据同步到elasticsearch:我参考的(https://blog.csdn.net/hatlonely/article/details/79945539)
可以把解压后的mysql-connector-java-5.1.46-bin.jar复制到bin目录,方便启动
在bin目录新建配置文件 vim mysql-logstash.cnf ,写入:
input {jdbc {jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_connection_string => "jdbc:mysql://ip:3306/db_name"jdbc_user => "jdbc_user"jdbc_password => "jdbc_password"schedule => "* * * * *"statement => "SELECT * FROM table WHERE 时间字段 >= :sql_last_value"use_column_value => truetracking_column_type => "timestamp"tracking_column => "时间字段"last_run_metadata_path => "syncpoint_table"} }output {elasticsearch {hosts => "localhost:9200"index => "索引名称"document_id => "%{主键字段}"} }
需要先把logstash停了,在重启
netstat -ntlp 命令查看端口为9600的进程,
然后kill 线程id,我的是 kill 25437
使用命令 sh logstash -f mysql-logstash.cnf --path.data=/home/elk/logstash-6.6.0/logs &
启动logstash
完了在kibana可以看到同步过去的数据,我的是这样的:
到这里,基本已经成功了!
EKL相关(一)、安装环境相关推荐
- 【Jenkins教程一】基于Linux的Jenkins安装
前言 Jenkins 是一种基于Java的持续集成工具,主要用于自动,持续地构建/测试软件或者监控一些定时执行的任务.下面介绍基于Linux环境 Jenkins的安装以及相关配置 安装环境: Linu ...
- python安装环境相关,已被坑过
目前本人在学tkinter以及comtypes, comtypes是python32位的库,用pyinstaller是没法将带了这个库的程序打包成exe的. 所以强烈建议全局python环境安装3.7 ...
- Linux实战(20):Docker部署EKL入门环境记录文档
安装环境: centos7 ,EKL全套为7.5.2版本 前期工作 拉取已下三个镜像 docker.io/logstash 7.5.2 b6518c95ed2f 6 months ago 805 MB ...
- java编译POSTGRESQL_Java连接PostgreSQL数据库(安装环境 + 简易测试代码)
--[楼主比较啰嗦, 会列出几个异常情况以供参考]-- 1, 安装环境 1.0 Win7 32位 1.2 编译器: Spring Tool Suite 3.7.1 官网下载地址:http://sp ...
- imx6 板卡移植官方yocto版本(1_安装环境)
玩imx6板卡也有两年了,之前由于各种原因(主要是懒),一直用的是官方的LTIB版本,这里必须要吐槽一下这个LTIB,各种错误百出,而且严重挑系统,硬是将我从CentOS阵营搞到Ubuntu社区.最近 ...
- mysql5.7编译安装路径_MySQL_MySQL 5.5/5.6/5.7及以上版本安装包安装时如何选择安装路径,安装环境需求:
自从昨天安 - phpStudy...
MySQL 5.5/5.6/5.7及以上版本安装包安装时如何选择安装路径 安装环境需求: 自从昨天安装了mysql 5.7,发现了一个问题,mysql5.6起,已经不支持2003系统了,如果安装了无法 ...
- 织梦检测环境不支持mysql_本地测试织梦dedeCMS 安装环境
本地测试织梦dedeCMS 安装环境 2018-08-21 134 织梦好多想本地测试织梦DEDECMS网站,今天介绍如何在本地安装测试环境,安装织梦系统. 第一:环境测试 DedeAMPZ 织梦官方 ...
- 编译安装Apache、php、xcache、FastCGI及相关整合
一:编译php工作在xcache模式下 在编译安装之前,要首先确保其安装环境,需要安装相关的开发环境的包组"Development tools"和"Server Plat ...
- 《Cacti实战》——2.2 安装与配置相关组件和服务
本节书摘来自华章计算机<Cacti实战>一书中的第2章,第2.2节,作者:刘钊,张跃著, 更多章节内容可以访问云栖社区"华章计算机"公众号查看. 2.2 安装与配置相关 ...
最新文章
- Button中command后面函数添加参数解决方法
- bash shell命令(1)
- 图像拼接 python c++
- 【转】“根级别上的数据无效”问题的解决
- 使用gin和gorm框架完成的bubble小清单项目
- GDCM:gdcm::Curve的测试程序
- workbench 流固耦合_基于Workbench的流固耦合作用下三通管振动特性分析
- std::jthread与std::thread的区别
- springboot security 权限不足_springBoot整合springSecurity(零一)
- Angular - ng-repeat高级用法
- 2016年5月26日晚上(妙味课堂js基础-2笔记二(DOM))
- 三位数除以两位数怎么算竖式_苏教版三年级数学上册4.6笔算三位数除以一位数(首位不够除)微课视频 | 练习...
- 【转】如何在命令行脚本中启动带参数的Windows服务
- 朋友去面试阿里蚂蚁金服测试岗位过程经历
- python发邮件被认定为垃圾邮件_Python:脚本发送的邮件被Gmail标记为垃圾邮件
- 365天深度学习训练营-第P5周:运动鞋识别
- 阿里靠什么支撑 EB 级计算力?
- 凸优化工具包CVX快速入门
- 二分查找的左右逼近法
- usb相机的经验总结
热门文章
- 二次元会让人脸识别失效吗?
- 对比四种爬虫定位元素方法,你更爱哪个?
- 神同步!美国三地 Tesla 车主,自动驾驶都撞了警车
- “编程能力差的程序员,90%输在这事上!”谷歌AI专家:都是瞎努力!
- 商汤提基于贪心超网络的One-Shot NAS,达到最新SOTA | CVPR 2020
- 基于Erlang语言的视频相似推荐系统 | 深度
- GAN性能不稳?这九大技术可“镇住”四类缺陷
- Apache Kylin v2.5.0正式发布,开源分布式分析引擎
- 贾跃亭晒FF 91新图,“生态化反”到底凉没凉?
- 如何把一段简单的代码变复杂?