Apache Druid简介

Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。

Druid应用场景:

  • 点击流分析
  • 网络监测分析
  • 服务指标存储
  • 应用性能指标分析
  • 数字广告分析

总的来说,apache druid适合于那些对实时性要求高,待分析的源数据量大的应用业务

Apache Druid安装

环境准备,基于centos7的系统,虚拟机或者阿里云服务,本篇以阿里云服务器为例进行说明

1、官网下载安装包

下载地址:https://downloads.apache.org/druid/ ,根据自己的要求下载特定的版本

2、上传至服务器指定目录并解压文件

解压之后我们进入到bin目录下,在bin目录下,存放的是各自启动脚本,在开发调试阶段,我们可以选择其中的一种类型的脚本进行启动

需要说明的是,不同的启动脚本,对于服务器的CPU配置要求是不一样的,下面列举出其中的部分启动脚本对应的CPU参数,提供参考,

  • nano-quickstart
  • micro-quickstart
  • small
  • medium
  • large
  • xlarge

单服务器参考配置

Nano-Quickstart:1个CPU,4GB RAM

  • 启动命令: bin/start-nano-quickstart
  • 配置目录: conf/druid/single-server/nano-quickstart

微型快速入门:4个CPU,16GB RAM

  • 启动命令:bin/start-micro-quickstart
  • 配置目录: conf/druid/single-server/micro-quickstart

小型:8 CPU,64GB RAM(〜i3.2xlarge)

  • 启动命令: bin/start-medium
  • 配置目录:conf/druid/single-server/medium

大型:32 CPU,256GB RAM(〜i3.8xlarge)

  • 启动命令:bin/start-large
  • 配置目录: conf/druid/single-server/large

大型X:64 CPU,512GB RAM(〜i3.16xlarge)

  • 启动命令:bin/start-xlarge
  • 配置目录:conf/druid/single-server/xlarge

我们这里做测试使用选择最低配置即可nano-quickstart

3、启动脚本

4、启动之后,页面访问web-ui

http://106.15.37.246:8888 ,没有其他问题的话,将会出现如下界面

5、数据摄入

apache druid作为数据分析的强大之处的其中一个点就是能比较灵活的支持从外部各种数据源导入外部数据,导入到系统之后进行分析,这里先演示使用安装包中提供的模拟数据进行导入

方式1:命令行加载

bin/post-index-task --file quickstart/tutorial/wikipedia-index.json --url http://localhost:8081

如果显示导入成功,在界面上的query一栏左侧,可以展示出导入成功后的库名称

方式2:界面导入

点击load data

选择第一个

选择local disk 并连接(表示从本地导入,这里也提供了很多其他来源,比如hdfs)

填写导入的文件位置

点击apply,并点击next

继续next

一路next来到下面这个界面时,注意那个 Query granularity 的选项,这里表示摄入的数据支持查询时候按照时间单位查询的最小单位,如天,小时,分钟还是秒

再走一步,来到下面这一步,这里的意思是,druid存储数据时会按照时间单位将数据分块进行存储,即数据块,对大数据中hdfs有一些了解的同学应该容易理解这个点,比如这里我选择按照小时存储

来到下面这里,可以将这个名称修改一下,理解为库的名称

最后点击submit

之后,界面上会出现一条任务,开始将外部的数据进行导入,这里可能需要耐心等待一会儿

看到左侧出现了最后一步我们的库名之后,说明数据导入成功

apache druid能够作为实时数据分析工具的一个强大之处在于,能够对摄入数据进行类似sql的分析,统计,像查询mysql的表一样对数据进行可视化分析,比如我们统计下刚刚摄入进来的数据个数

本篇注意演示了如何快速安装apache druid 以及快速导入本地数据到apache druid的过程,希望对看到的同学有用,本篇到此结束,最后感谢观看!

centos7 搭建apache druid相关推荐

  1. 阿里云apache配置php mysql_阿里云CentOS7搭建Apache+PHP+MySQL环境

    最近要搭建一个阿里云的LMAP环境,选了CentOS7来做搭建. 1.Apache Centos7默认已经安装httpd服务,只是没有启动. 如果你需要全新安装,可以yum install -y ht ...

  2. centos7搭建apache服务器(亲测可用)

    1安装apache yum install httpd httpd-devel -y 2开启服务器 systemctl start httpd.service 3开机自启 systemctl enab ...

  3. centos7搭建CA服务器颁发ssl证书

    2019年12月16日 星期一 CQCEE 使用ssl来保证web通信安全 apache服务器与客户机采用明文通信 对HTTP传输加密的协议为HTTPS,是通过ssl进行http传输的协议,它通过公用 ...

  4. Linux常用命令下,以及再CentOS7下搭建apache网站服务,以及同一服务器上搭建第二个网站

    Linux常用命令下,以及再CentOS7下搭建apache网站服务,以及同一服务器上搭建第二个网站 Linux 常用命令ls -l 以长格式显示-a 显示.. 和 .-A 不显示 . 和 ..-d ...

  5. apache druid 与kafka整合使用

    前言 在上一篇,我们了解了apache druid的搭建,以及如何快速导入外部数据源到apache druid中进行数据分析和使用 本篇,我们结合一个实际的简单的应用场景,来说说apache drui ...

  6. Apache Druid远程代码执行漏洞(CVE-2021-25646)

    Apache Druid远程代码执行漏洞(CVE-2021-25646) 0x01 漏洞简介 Apache Druid 是用 Java 编写的面向列的开源分布式数据存储, 通常用于商业智能/ OLAP ...

  7. Apache Druid RCE(CVE-2021-25646)复现

    漏洞概述 Apache Druid 是用Java编写的面向列的开源分布式数据存储,旨在快速获取大量事件数据,并在数据之上提供低延迟查询. Apache Druid 默认情况下缺乏授权认证,攻击者可以发 ...

  8. CentOS7搭建LNMP+WordPress一篇搞定

    零.关于本文 本文首次完成于2019年5月12日,经历多次修改.本文所有的参考文献,均以超链接的形式给出.考虑到网上的部分教程不够完整,有的已经过时,我将我搭建环境的方法记录下来. 这篇文章适合: 希 ...

  9. CentOS7搭建Kafka集群

    目录 一.Kafka单机[依赖单机的单节点Zookeeper] 二.KafKa集群搭建 三.Kafka Manager(web页面管理)的搭建 四.使用本地客户端测试MQ基本操作 首先kafka的配置 ...

最新文章

  1. java 注解的使用
  2. 郑州轻工业学校计算机网络,计算机网络期末考试a卷(郑州轻工业学院).doc
  3. python常用代码总结-python字典的常用方法总结
  4. 深度学习 --- 受限玻尔兹曼机RBM(MCMC接受率详解)
  5. 19年春第十五周学习
  6. dd模式和iso模式_ISO的完整形式是什么?
  7. 使用opencv-python读取webm格式的视频并转换成图片和avi格式的视频
  8. db2 正则匹配_SQL正则表达式
  9. CHIP-seq流程学习笔记(11)-使用GSEA软件进行GSEA分析
  10. FPGA基础入门【16】开发板加速度传感器配置
  11. 如何c51和mdk共存兼容_解决KeilMDK和KeilC51的兼容性——如何只用一个keil软件既可编译51核又可编译ARM核...
  12. rfm模型python_使用python实现RFM模型
  13. Balanced Lineup
  14. 书单素材怎么找?教你寻找方法
  15. 通信基础笔记 ----奈奎斯特和香农定理
  16. 搭建Android应用程序的服务器
  17. 怀旧服务器联盟优势,魔兽世界怀旧服阵营怎么选择 联盟和部落区别对比分析...
  18. 迅为4418开发板Linux系统修改和固定MAC地址
  19. 又躺赚1亿?东方联盟创始人郭盛华,会的仅仅是技术吗?
  20. 【华为OD考试真题】报数游戏(Python实现)

热门文章

  1. amazon 设计 4 vending machine
  2. {WP7/WP8·获取屏幕大小}
  3. VS2017 提示警告 IDE0006
  4. osip2 代码分析
  5. 最全金蝶KIS记账王使用问题汇总
  6. POJ2586(贪心)
  7. Linux内存管理 【转】
  8. 问题解决 xenapp6/6.5发布资源管理器explorer应用不能打开 一闪而过
  9. 1024 许个愿吧,万一实现了呢?
  10. 自编fun函数求 N*N矩阵四周元素的平均值