Amzone 2019 年 3 月正式推出 Open Distro for Elasticsearch。这是 Elasticsearch 的一个增值发行版,100% 开源(采用 Apache 2.0 许可证)并且由 AWS 提供支持。Open Distro for Elasticsearch 利用了 Elasticsearch 和 Kibana 的开放源代码。

个人很欣赏 Elastic 的 Shay Banon 的,他对 Amzone 的 Open Distro 应该是很不爽,但是对于现在的 Elastic 一系列增值服务,我们也是很不爽。

亚马逊决定推出 Open Distro。Open Distro for Elasticsearch 是一款价值增添(value-added)的 Elasticsearch 发行版,100%开源(采用 Apache 2.0 许可证),并且由 AWS 支持。

在本场 Chat 中,会讲到如下内容:

  1. 背景
  2. Open Distro 和 Elasticsearch 有什么区别
  3. Open Distro 安装步骤
  4. 安全插件
  5. 警报插件
  6. 性能分析器

适合人群: 高效构建日志追踪功能的架构人员

1. 背景

Open Distro for Elasticsearch 利用 Elasticsearch 和 Kibana 的开源代码(Kibana 是 Elasticsearch 的数据可视化插件)。Open Distro for Elasticsearch 不是 ElasticSearch 的一个分支。

AWS 的云架构战略副总裁 Adrian Cockcroft 认为 Open Distro for Elasticsearch 之所以必要是因为 Elasticsearch Global BV(Elasticsearch 的商业主导公司,简称 Elastic)通过在其代码库中添加大量专有软件来“模糊轨道”(blurs the tracks)。

Cockcroft 认为添加专有代码来创建新功能本身并不是问题。因为大多数开源软件背后商业公司都这样做,然后通常添加支持服务来赚取一定的费用。但就 Elasticsearch 而言,对于自由软件用户所获得的内容“缺乏清晰度”(lack of clarity)。

2. Open Distro 和 Elasticsearch 有什么区别

当然,最大的区别在于许可, 上面讨论的其他插件都是 Apache 2.0 许可. 并且与 ELK Stack 中的相同功能相比是完全开源的。

对于多数用户来说,基本的用户验证都需要收费使用插件的话,一切废话都不用再说,毕竟提高整合效率,加快项目上线速度才是首先要考虑的.

3. Open Distro 安装步骤

目前,该项目支持两种安装方法 - 通过 RPM 包或起诉 Docker 镜像, 还是用习惯的 Docker 方式

第一步:创建 docker-compose.yml 文件

version: '3'services:  odfe-node1:    image: amazon/opendistro-for-elasticsearch:1.1.0    container_name: odfe-node1    environment:      - cluster.name=odfe-cluster      - bootstrap.memory_lock=true # along with the memlock settings below, disables swapping      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" # minimum and maximum Java heap size, recommend setting both to 50% of system RAM    ulimits:      memlock:        soft: -1        hard: -1    volumes:      - odfe-data1:/usr/share/elasticsearch/data    ports:      - 9200:9200      - 9600:9600 # required for Performance Analyzer    networks:      - odfe-net  odfe-node2:    image: amazon/opendistro-for-elasticsearch:0.7.0    container_name: odfe-node2    environment:      - cluster.name=odfe-cluster      - bootstrap.memory_lock=true      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"      - discovery.zen.ping.unicast.hosts=odfe-node1    ulimits:      memlock:        soft: -1        hard: -1    volumes:      - odfe-data2:/usr/share/elasticsearch/data    networks:      - odfe-net  kibana:    image: amazon/opendistro-for-elasticsearch-kibana:0.7.0    container_name: odfe-kibana    ports:      - 5601:5601    expose:      - "5601"    environment:      ELASTICSEARCH_URL: https://odfe-node1:9200    networks:      - odfe-netvolumes:  odfe-data1:  odfe-data2:networks:  odfe-net:

Elasticsearch 和 Kibana 映射的常规端口(9200/5601)以及 Perf Analyzer(9600)的额外端口。

禁用内存交换并设置 JVM 堆大小。

docker-compose up
CONTAINER ID        NAME                CPU %               MEM USAGE / LIMIT     MEM %               NET I/O             BLOCK I/O           PIDSed56148cf60b        odfe-logstash       93.36%              193.4MiB / 700MiB     27.63%              4.9kB / 732B        163MB / 14MB        11abdf58927153        odfe-kibana         0.02%               150.6MiB / 700MiB     21.51%              4.52kB / 676B       230MB / 15.1MB      112adad38234f0        odfe-node1          19.54%              548.5MiB / 1.953GiB   27.42%              4.9kB / 516B        890MB / 102MB       31

现在,与我们习惯使用的 ELK Stack 相比,一个关键的区别是默认情况下启用了安全插件。

然后访问 Kibana:http:// localhost: 5601

4. 安全插件

安全性是 ELK Stack 最有意义的开源添加, 先使用默认的配置来启动,以后专门写一篇安全设置修改的教程.*(admin, admin )

任何熟悉 ELK 安全插件的人都会发现很多相同的功能。基于角色的访问,用户控制和映射,审计日志记录,API,AD 和 LDAP 支持 - 这些都是安全插件的一部分。

5. 警报插件

Open Distro for Elasticsearch 提供了一种内置机制,用于在 Elasticsearch 索引满足您定义的阈值和条件时发送警报。

在 Kibana 的新警报页面上,您将找到一个选项卡,您可以在其中定义要将警报发送到(目标)的位置。我尝试创建一个钉钉警报

然后,您需要构建所谓的触发器,该触发器定义监视器检查的特定条件以及触发警报时要执行的操作。

初步看看之后,Open Distro for Elasticsearch 中的警报机制仍然有点粗糙而且还不成熟。相比较 Elastic 那边复杂的 Alert 和收费来看, 方向已经很不错了.

设置一个钉钉也是很 666 ......

6. 性能分析器

处理 Elasticsearch 的一个已知痛点是监控性能, Performance Analyzer 插件是可以在本地安装并用于查询群集上的性能指标的代理。下载性能分析器:https://opendistro.github.io/for-elasticsearch/downloads.html

总结

整体起来看的话,插件配置简单,部署容易,相比 Elastic 的模糊轨道,确实可以说清晰才是王道!


本文首发于 GitChat,未经授权不得转载,转载需与 GitChat 联系。

阅读全文: http://gitbook.cn/gitchat/activity/5dae790ec23b987cddded343

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App , GitChat 专享技术内容哦。

Open Distro 初探相关推荐

  1. 2021年大数据Flink(九):Flink原理初探

    Flink原理初探 Flink角色分工 在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程. JobManager: 它扮演的是集群管理者的角色,负责调度任务.协调 checkp ...

  2. 从壹开始微服务 [ DDD ] 之一 ║ D3模式设计初探 与 我的计划书

    缘起 哈喽大家周四好!又是开心的一天,时间过的真快,我们的 <从壹开始 .net core 2.1 + vue 2.5 >前后端分离系列共 34 篇已经完结了,当然以后肯定还会有更新和修改 ...

  3. 经典算法研究系列:二、Dijkstra 算法初探

    经典算法研究系列:二.Dijkstra 算法初探  July   二零一一年一月 ====================== 本文主要参考:算法导论 第二版.维基百科. 写的不好之处,还望见谅. 本 ...

  4. las格式测井曲线_邹榕,等:顺北和托甫台区块奥陶系断裂结构单元测井响应特征初探...

    引用格式:邹榕,徐中祥,张晓明,等.顺北和托甫台区块奥陶系断裂结构单测井响应特征初探[J].油气藏评价与开发,2020,10(2):18-23.ZOUR, XU Z X, ZHANG X M, et ...

  5. 2018-4-15摘录笔记,《网络表征学习前沿与实践》 崔鹏以及《网络表征学习中的基本问题初探》 王啸 崔鹏 朱文武

    1.来源:<网络表征学习前沿与实践>  崔鹏 (1)随着数据的增加以及计算机计算速度的增加,想当然的以为速度快了,数据再多也是可以自己算的,但是若是数据之间存在着复杂的关系,那么处理一个样 ...

  6. python argparse_Python 命令行之旅:初探 argparse

    本文首发于 HelloGitHub 公众号,并发表于 Prodesire 博客. 前言 你是否好奇过在命令行中敲入一段命令后,它是如何被解析执行的?是否考虑过由自己实现一个命令行工具,帮你执行和处理任 ...

  7. HTML5+MUI+HBuilder 之初探情人

    07,08年那会儿正当Java火爆,C/C++仍是广泛运用的一门语言的时候,所以我的大学都献给了C/C++和Java.当诺基亚的倒闭成为按键机时代衰落的标志时,移动APP的开发也如破堤之洪.爆炸式的崛 ...

  8. 使用Mahout搭建推荐系统之入门篇3-Mahout源码初探

    2019独角兽企业重金招聘Python工程师标准>>> 用意: 希望了解Mahout中数据的存储方式, 它如何避免java object带来的冗余开销.学完知识,要进行些实战 去分析 ...

  9. SAP RETAIL 补货类型RF之初探 II

    SAP RETAIL 补货类型RF之初探 II 1, 补货参数 – TargetCoverage字段不能为空. 如果不维护这个参数值,系统会提示:Target stock calculated dyn ...

  10. SAP RETAIL 补货类型RF之初探 I

    SAP RETAIL 补货类型RF之初探 I SAP RETAIL系统里,商品主数据里MRP Type字段值如果是RF (Replenish with dyn.TargetStock ), 则系统在自 ...

最新文章

  1. RTEMS文件系统(4):系统调用开发信息(上)
  2. 仅发送options请求,没有发送post解决方案
  3. 数据结构与算法 / 栈(stack)
  4. linux刷windows要重新校色吗,ThinkPad T470s 在 openSUSE KDE 桌面环境中安装显示器校色文件...
  5. 小程序文本框为空自动填写_微信免费转码机器人!小程序自动转码!
  6. php面试题之四——Linux部分(高级部分)
  7. web安全day18:kali下的两个实验彻底理解中间人攻击
  8. webpack使用七
  9. c语言小游戏_打字游戏超细讲解(C语言基础小游戏)
  10. fastboot工具的操作流程
  11. /usr/bin/ld: /usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu/Scrt1.o: in function `_start‘
  12. 8路开关量输入8路继电器输出的网络模块
  13. matlab求组合数不想求组合数矩阵,【潘德的预言】用关系模型与组合数计算NPC最大相容人数和所有组合...
  14. 落户杭州难不难!入户杭州超全办理细则来了!想落户杭州的赶紧看
  15. GitHub仓库实现CICD快乐的总结嘤嘤嘤
  16. 【Camera基础(二)】摄像头驱动原理和开发V4L2子系统驱动架构
  17. 视频直播技术详解之直播云SDK性能测试模型
  18. Obsidian media extended以及bilibili插件链接总是打开外部网页以及退回编辑视图会弹出另外一个相同文件
  19. OpenCV | 直线拟合fitline函数
  20. ffmpeg —— v4l2录制h264视频文件(边采集边转码)

热门文章

  1. Android颜色透明度(不透明度)计算
  2. python 正则匹配中re.match().group(num=0)
  3. [Telink][TLSR8251] [泰凌微]入门上手教程(IDE+SDK+烧录)
  4. Python 复数类型(详解)
  5. php安装Laravel框架 全过程 傻瓜式教学
  6. 强烈推荐10套开源免费的高品质源码,源码免费下载
  7. Matlab高尔顿板仿真模拟实验
  8. C#调用报表生成器成功案例示例研究
  9. 初学者小白怎么画猫咪主题插画?该怎么去注意其中的细节?
  10. 上海车展6大热门车型自动驾驶配置梳理