[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
步骤/详情
一:下载
注意的是下载版本为免安装版。下载地址:
https://www.elastic.co/cn/downloads/elasticsearch
笔者由于当前用的是JDK8选择的是 7.0.0-alpha2 版本。
为最后一个不内嵌JDK的版本(包大小为140M+), 后面的版本内嵌JDK11+了
- 推荐高版本直接上JDK17+
二: 安装ES服务
Window版的ElasticSearch的安装很简单,类似Window版的Tomcat,解压开即安装完毕,解压后的ElasticSearch的目录结构如下:
修改elasticsearch配置文件,config/elasticsearch.yml文件,增加文件内容如下:
# 开启跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
# 关闭安全校验 (生产外网环境建议设置账号密码并且开启该选项)
xpack.security.enabled: false
添加配置是为了允许elasticsearch跨域访问,如果不配置,后面有可能elasticsearch-head是可以不修改,直接启动;
2.1 elasticsearch 7.0.0 系列版本以上添加配置
在elasticsearch7.x之后的版本, 已经集成了自带的jdk, 在根目录下的jdk文件夹中 这里需要修改elasticsearch-env.bat启动文件的配置内容, 设置系统使用elasticsearch自带的jdk版本 在bin/elasticsearch-env.bat文件中找到关于JAVA_HOME的配置, 注释掉if…else判断的东西,
把下面的代码
if defined ES_JAVA_HOME (set JAVA="%ES_JAVA_HOME%\bin\java.exe"set JAVA_TYPE=ES_JAVA_HOME
) else if defined JAVA_HOME (rem fallback to JAVA_HOMEecho "warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME" >&2set JAVA="%JAVA_HOME%\bin\java.exe"set "ES_JAVA_HOME=%JAVA_HOME%"set JAVA_TYPE=JAVA_HOME
) else (rem use the bundled JDK (default)set JAVA="%ES_HOME%\jdk\bin\java.exe"set "ES_JAVA_HOME=%ES_HOME%\jdk"set JAVA_TYPE=bundled JDK
)
改为:
set JAVA="%ES_HOME%\jdk\bin\java.exe"
set JAVA_HOME="%ES_HOME%\jdk"
set JAVA_TYPE=bundled jdk
2.2 修改yml文件 外网可以访问
conf/elasticsearch.yml 修改network.host为:
# 设置节点名称
node.name: node-1
#设置ip地址,使任意网络均可访问
network.host: 0.0.0.0
#放开端口号
http.port: 9200
# 启动时初始化的参与选主的节点
cluster.initial_master_nodes: ["node-1"]
# 开启跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
三:IK 中文分词器
elasticsearch-analysis-ik
下载解压之后放到elasticsearch/pluging目录下
3.1 IK 配置文件
main.dic : IK 中内置的词典。 main dictionary。记录 了 IK 统计的所有中文单词。一行一词。文件中未记录的单词,IK 无法实现有效分词。
如:雨女无瓜。不建议修改当前文件中的单词。这个是最核心的中文单词库。就好像,很多的网络词不会收集到辞海中一样。quantifier.dic : IK 内置的数据单位词典suffix.dic :IK 内置的后缀词典surname.dic :IK 内置的姓氏词典stopword.dic :IK 内置的英文停用词
preposition.dic :IK 内置的中文停用词(介词)
IKAnalyzer.cfg.xml :
用于配置自定义词库的自定义词库是用户手工提供的特殊词典,类似网络热词,特定业务用词等。ext_dict:
自定义词库,配置方式为相对于IKAnalyzer.cfg.xml文件所在位置的相对路径寻址方式。相当于是用户自定义的一个main.dic文件。是对main.dic文件的扩展。ext_stopwords:
自定义停用词,配置方式为相对于IKAnalyzer.cfg.xml文件所在位置的相对路径寻址方式。相当于是preposition.dic的扩展。
注意:IK的所有的 dic词库文件,必须使用 UTF-8字符集。不建议使用 windows自带的文本编辑器编辑。Windows中自带的文本编辑器是使用 GBK字符集 。IK不识别,是乱码。
备注 IK分词器 查看方式
ik_max_word 和 ik_smart 方式的区别大致就是前者会进行更细粒度的拆分,后者更多的是尽可能的组成词汇短语
GET _analyze
{"analyzer":"ik_max_word","text": "中华人名共和国"
}GET _analyze
{"analyzer":"ik_smart","text": "中华人名共和国"
}
四 : 启动ES服务
点击elasticsearch下的bin目录下的elasticsearch.bat启动:
注意:9300是tcp通讯端口,集群间和TCPClient都执行该端口,9200是http协议的RESTful接口;
通过浏览器访问elasticsearch服务器,启动成功后的内容如下:
- 注意事项:
1, elasticsearch是使用java开发的,且本版本的ES需要的jdk版本要是1.8以上 一定要严格注意JDK版本对应 7.0.1以及以上版本推荐使用JDK17;
2, 启动elasticsearch.bat时,如果一闪而过,修改配置如下:
Elasticsearch默认会配置2G的JVM堆的初始值和最大值,该jvm参数被配置在/config/jvm.options里,可以将JVM参数改小:
-Xms512M
-Xmx512M
五:安装Kibana
1、到官网下载Kibana:Download Kibana Free | Get Started Now | Elastic 。
2、解压并修改配置文件。
修改“elasticsearch.hosts”属性并保存文件:
# 外网可以访问
server.host: "0.0.0.0"# 如果ES没有kibana索引则创建索引
kibana.index: ".kibana"elasticsearch.hosts: ['http://远程服务器ip:9200']
# 设置kibana为中文
i18n.locale: "zh-CN"
3、运行 kibana.bat。
Ready状态即为成功。
4、打开 http://localhost:5601/app/kibana#/ ,页面成功加载。
- 注意: 关于Kibana 设置中文不生效问题
修改i18n.locale: "zh-CN"参数的人都忽略了一个事实
中文版本仅限于包含x-pack的版本,因为kibana的中文包就放在
/home/kibana-7.1.1-linux-x86_64/node_modules/x-pack/plugins/translations/translations这个路径下
六:安装Logstash
解压并设置默认配置
- 设置外网访问
在 logstash-7.0.0\config\logstash.yml文集添加以下配置
# 开启外网访问
http.host: 0.0.0.0
- 进入bin目录,新建文件logstash_default.conf
input {# Filebeat 默认端口号5044 如果使用Filebeat 可以放开这段注释beats {port => "5044"}stdin{}
} output {elasticsearch {hosts => ["127.0.0.1:9200"]index => "logstash-console-%{+YYYY.MM.dd}"#user => "elastic"#password => "changeme"}stdout{}
}
- 在bin目录,新文件文件run_default.bat
logstash -f logstash_default.conf
- 运行启动logstash
点击run_default.bat,启动logstash,浏览器访问http://localhost:9600/,表示启动成功。
- kibana可以看到logstash创建的索引了
- 记得使用新生命周期策略(关闭滚动更新)
kibana 创建索引查看可以获取到相关信息了
七:
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置相关推荐
- Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统
Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 原文:Elasticsearch,Kibana,Logstash,NLog实现ASP. ...
- ElasticSearch + Kibana + logstash+ik结合springboot代码实现,比较ES和传统Mysql查询效率
开发环境:Win10 开发环境:STS 概要:此篇文章主要是传统的Mysql查询和ES查询两种方式的效率比较,以及代码实现,另外使用logstash进行mysql数据的同步也可以直接理解为" ...
- mysql8.0卸载出现问题,Windows环境下MySQL 8.0 的安装、配置与卸载
软件版本 Windows:Windows10 MySQL:mysql-8.0.17-winx64.zip 安装步骤 1.配置环境变量 2.新建my.ini文件 文件位置:C:\Program File ...
- Windows Server 2008 R2 活动目录的安装和配置
Windows Server 2008 R2 活动目录的安装和配置 我所用的版本是 <cn_windows_server_2008_r2_hpc_edition_with_service_pac ...
- windows系统IntelliJ IDEA及mysql的安装及配置
windows系统IntelliJ IDEA及mysql的安装及配置 IntelliJ IDEA的安装流程: IntelliJ IDEA环境介绍* IDEA 全称 IntelliJ IDEA,是jav ...
- ELK——ElasticSearch(ES) LogStash Kibana 范围查询 经纬度
Spring Boot 搭建 ELK,这才是正确看日志的方式! ES地理边界聚合官网 ES API官网 一.快速入门实战 二.核心语法集群高可用实战演练 三.集群架构原理与搜索技术深入 四.底层原理与 ...
- Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)
ELK是由 Elasticsearch.Logstash和Kibana 三部分组件组成. Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副 ...
- 搭建elasticsearch+kibana+logstash+filebeat
由于资源有限,所以我暂时将elk部署在同一台主机,生产环境可以部署在多台主机上,只需要多台主机可以相互连通 elk原理 下载资源 elastic中文官网 环境准备 # 关闭防火墙和selinux [r ...
- Windows 部署 Elasticsearch + kibana 8.0 指南
以下内容图示为主,主要探讨和早期版本的不同,给大家升级 8.0 或者更高版本铺路. 一.Windows 单节点集群部署 1.步骤1:下载并解压 elasticsearch.kibana 安装包. 2. ...
最新文章
- wannafly 12 删除子串 dp
- 爸爸和无我编程十条诫律
- Symfony2Book06:路由
- 学JS的心路历程 -非同步执行
- 台大林轩田《机器学习基石》系列课程教材的习题更新完毕了
- Java——多线程学习
- 子类覆盖父类(Java)
- 再次检查打印机名称 并确保_我们的公司名称糟透了。 这是确保您没有的方法。...
- leetcode —— 面试题60. n个骰子的点数
- 苹果4是android吗,时至2020年,苹果手机还有这几个优势,让安卓毫无“招架之力”...
- yum 安装rabbitMQ
- 大创和互联网加_大创?科研立项?互联网+大赛?创业大赛?……你还在纠结吗?...
- ali p3c规则扩展-集成sonar
- javascript中(function(){})($)与$(function)的区别
- 运放的相位补偿 ?
- 如何获取服务器的 CA 证书?
- 尼古拉·特斯拉——一个比爱迪生更伟大却被世界遗忘的科学巨人
- 【kimol君的无聊小发明】—用python写论文下载器(图形化界面)
- Qt几个月的学习心得及展望
- C/C++代码缺陷静态检查工具cppcheck
热门文章
Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 原文:Elasticsearch,Kibana,Logstash,NLog实现ASP. ...
开发环境:Win10 开发环境:STS 概要:此篇文章主要是传统的Mysql查询和ES查询两种方式的效率比较,以及代码实现,另外使用logstash进行mysql数据的同步也可以直接理解为" ...
软件版本 Windows:Windows10 MySQL:mysql-8.0.17-winx64.zip 安装步骤 1.配置环境变量 2.新建my.ini文件 文件位置:C:\Program File ...
Windows Server 2008 R2 活动目录的安装和配置 我所用的版本是 <cn_windows_server_2008_r2_hpc_edition_with_service_pac ...
windows系统IntelliJ IDEA及mysql的安装及配置 IntelliJ IDEA的安装流程: IntelliJ IDEA环境介绍* IDEA 全称 IntelliJ IDEA,是jav ...
Spring Boot 搭建 ELK,这才是正确看日志的方式! ES地理边界聚合官网 ES API官网 一.快速入门实战 二.核心语法集群高可用实战演练 三.集群架构原理与搜索技术深入 四.底层原理与 ...
ELK是由 Elasticsearch.Logstash和Kibana 三部分组件组成. Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副 ...
由于资源有限,所以我暂时将elk部署在同一台主机,生产环境可以部署在多台主机上,只需要多台主机可以相互连通 elk原理 下载资源 elastic中文官网 环境准备 # 关闭防火墙和selinux [r ...
以下内容图示为主,主要探讨和早期版本的不同,给大家升级 8.0 或者更高版本铺路. 一.Windows 单节点集群部署 1.步骤1:下载并解压 elasticsearch.kibana 安装包. 2. ...