SpringBoot实战教程(6)| 整合Druid
Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。
目录
一、主要特征
二、使用场景
三、初始化SpringBoot项目
四、引入依赖文件
五、编写配置文件
六、编写DruidConfig配置类
七、查看Druid监控信息
一、主要特征
- 列式存储,Druid使用列式存储,这意味着在一个特定的数据查询中它只需要查询特定的列,这样极地提高了部分列查询场景的性能。另外,每一列数据都针对特定数据类型做了优化存储,从而支持快速的扫描和聚合。
- 可扩展的分布式系统,Druid通常部署在数十到数百台服务器的集群中,并且可以提供每秒数百万条记录的接收速率,数万亿条记录的保留存储以及亚秒级到几秒的查询延迟。
- 大规模并行处理,Druid可以在整个集群中并行处理查询。
- 实时或批量摄取,Druid可以实时(已经被摄取的数据可立即用于查询)或批量摄取数据。
- 自修复、自平衡、易于操作,作为集群运维操作人员,要伸缩集群只需添加或删除服务,集群就会在后台自动重新平衡自身,而不会造成任何停机。如果任何一台Druid服务器发生故障,系统将自动绕过损坏。 Druid设计为7*24全天候运行,无需出于任何原因而导致计划内停机,包括配置更改和软件更新。
- 不会丢失数据的云原生容错架构,一旦Druid摄取了数据,副本就安全地存储在深度存储介质(通常是云存储,HDFS或共享文件系统)中。即使某个Druid服务发生故障,也可以从深度存储中恢复您的数据。对于仅影响少数Druid服务的有限故障,副本可确保在系统恢复时仍然可以进行查询。
- 用于快速过滤的索引,Druid使用CONCISE或Roaring压缩的位图索引来创建索引,以支持快速过滤和跨多列搜索。
- 基于时间的分区,Druid首先按时间对数据进行分区,另外同时可以根据其他字段进行分区。这意味着基于时间的查询将仅访问与查询时间范围匹配的分区,这将大大提高基于时间的数据的性能。
- 近似算法,Druid应用了近似count-distinct,近似排序以及近似直方图和分位数计算的算法。这些算法占用有限的内存使用量,通常比精确计算要快得多。对于精度要求比速度更重要的场景,Druid还提供了精确count-distinct和精确排序。
- 摄取时自动汇总聚合,Druid支持在数据摄取阶段可选地进行数据汇总,这种汇总会部分预先聚合您的数据,并可以节省大量成本并提高性能。
二、使用场景
如果您的使用场景符合以下的几个特征,那么Druid是一个非常不错的选择。
- 数据插入频率比较高,但较少更新数据
- 大多数查询场景为聚合查询和分组查询(GroupBy),同时还有一定得检索与扫描查询
- 将数据查询延迟目标定位100毫秒到几秒钟之间
- 数据具有时间属性(Druid针对时间做了优化和设计)
- 在多表场景下,每次查询仅命中一个大的分布式表,查询又可能命中多个较小的lookup表
- 场景中包含高基维度数据列(例如URL,用户ID等),并且需要对其进行快速计数和排序
- 需要从Kafka、HDFS、对象存储(如Amazon S3)中加载数据
三、初始化SpringBoot项目
四、引入依赖文件
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-jdbc</artifactId></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><scope>runtime</scope></dependency><!-- 阿里巴巴druid依赖--><dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.2.8</version></dependency>
五、编写配置文件
application.yml
spring:# 配置数据源datasource:url: jdbc:mysql://127.0.0.1:3306/mysql?allowMultiQueries=true&useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull&useSSL=false # MySQL在高版本需要指明是否进行SSL连接 解决则加上 &useSSL=falsename: demousername: rootpassword: 123456platform: mysqldriver-class-name: com.mysql.jdbc.Driver# ===================== ↓↓↓↓↓↓ 使用druid数据源 ↓↓↓↓↓↓ =====================# 连接池类型,druid连接池springboot暂无法默认支持,需要自己配置beantype: com.alibaba.druid.pool.DruidDataSourceinitialSize: 5 # 连接池初始化连接数量minIdle: 5 # 连接池最小空闲数maxActive: 20 # 连接池最大活跃连接数maxWait: 60000 # 配置获取连接等待超时的时间timeBetweenEvictionRunsMillis: 60000 # 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒minEvictableIdleTimeMillis: 300000 # 配置一个连接在池中最小生存的时间,单位是毫秒validationQuery: SELECT 1 FROM DUAL # 连接是否有效的查询语句testWhileIdle: truetestOnBorrow: falsetestOnReturn: false# 打开PSCache,并且指定每个连接上PSCache的大小poolPreparedStatements: truemaxPoolPreparedStatementPerConnectionSize: 20removeAbandoned: true# 配置监控统计拦截的filters,去掉后监控界面sql无法统计,【 'stat':监控统计 'wall':用于防火墙,防御sql注入 'slf4j':日志 】filters: stat,wall,slf4j# 通过connectProperties属性来打开mergeSql功能;慢SQL记录connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000#useGlobalDataSourceStat: true # 合并多个DruidDataSource的监控数据loginUsername: admin # SQL监控后台登录用户名loginPassword: admin # SQL监控后台登录用户密码
六、编写DruidConfig配置类
package com.csdn.config;import com.alibaba.druid.pool.DruidDataSource;
import com.alibaba.druid.support.http.StatViewServlet;
import com.alibaba.druid.support.http.WebStatFilter;
import com.alibaba.druid.support.spring.stat.DruidStatInterceptor;
import org.springframework.aop.support.DefaultPointcutAdvisor;
import org.springframework.aop.support.JdkRegexpMethodPointcut;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.web.servlet.FilterRegistrationBean;
import org.springframework.boot.web.servlet.ServletRegistrationBean;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Scope;
import org.springframework.jdbc.datasource.DataSourceTransactionManager;import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;/*** <p> Druid核心配置类 - 注册bean </p>** @author : Roc-xb*/
@Configuration
public class DruidConfig {@Value("${spring.datasource.loginUsername}")private String loginUsername;@Value("${spring.datasource.loginPassword}")private String loginPassword;/*** 配置Druid监控** @param :* @return: org.springframework.boot.web.servlet.ServletRegistrationBean*/@Beanpublic ServletRegistrationBean druidServlet() {// 注册服务ServletRegistrationBean servletRegistrationBean = new ServletRegistrationBean(new StatViewServlet(), "/druid/*");// IP白名单(为空表示,所有的都可以访问,多个IP的时候用逗号隔开)servletRegistrationBean.addInitParameter("allow", "127.0.0.1");// IP黑名单 (存在共同时,deny优先于allow)servletRegistrationBean.addInitParameter("deny", "127.0.0.2");// 设置控制台登录的用户名和密码servletRegistrationBean.addInitParameter("loginUsername", loginUsername);servletRegistrationBean.addInitParameter("loginPassword", loginPassword);// 是否能够重置数据servletRegistrationBean.addInitParameter("resetEnable", "false");return servletRegistrationBean;}/*** 配置web监控的filter** @param :* @return: org.springframework.boot.web.servlet.FilterRegistrationBean*/@Beanpublic FilterRegistrationBean webStatFilter() {FilterRegistrationBean filterRegistrationBean = new FilterRegistrationBean(new WebStatFilter());// 添加过滤规则Map<String, String> initParams = new HashMap<>(1);// 设置忽略请求initParams.put("exclusions", "*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*");filterRegistrationBean.setInitParameters(initParams);filterRegistrationBean.addInitParameter("profileEnable", "true");filterRegistrationBean.addInitParameter("principalCookieName", "USER_COOKIE");filterRegistrationBean.addInitParameter("principalSessionName", "");filterRegistrationBean.addInitParameter("aopPatterns", "com.example.demo.service");// 验证所有请求filterRegistrationBean.addUrlPatterns("/*");return filterRegistrationBean;}/*** 配置数据源 【 将所有前缀为spring.datasource下的配置项都加载到DataSource中 】** @param :* @return: javax.sql.DataSource*/@Bean(name = "dataSource")@ConfigurationProperties(prefix = "spring.datasource")public DataSource dataSource() {return new DruidDataSource();}/*** 配置事物管理器** @param :* @return: org.springframework.jdbc.datasource.DataSourceTransactionManager*/@Bean(name = "transactionManager")public DataSourceTransactionManager transactionManager() {return new DataSourceTransactionManager(dataSource());}/*** ↓↓↓↓↓↓ 配置spring监控 ↓↓↓↓↓↓* DruidStatInterceptor: druid提供的拦截器** @param :* @return: com.alibaba.druid.support.spring.stat.DruidStatInterceptor*/@Beanpublic DruidStatInterceptor druidStatInterceptor() {DruidStatInterceptor dsInterceptor = new DruidStatInterceptor();return dsInterceptor;}/*** 使用正则表达式配置切点** @param :* @return: org.springframework.aop.support.JdkRegexpMethodPointcut*/@Bean@Scope("prototype")public JdkRegexpMethodPointcut druidStatPointcut() {JdkRegexpMethodPointcut pointcut = new JdkRegexpMethodPointcut();pointcut.setPattern("com.zhengqing.demo.modules.*.api.*");return pointcut;}/*** DefaultPointcutAdvisor类定义advice及 pointcut 属性。advice指定使用的通知方式,也就是druid提供的DruidStatInterceptor类,pointcut指定切入点** @param druidStatInterceptor* @param druidStatPointcut:* @return: org.springframework.aop.support.DefaultPointcutAdvisor*/@Beanpublic DefaultPointcutAdvisor druidStatAdvisor(DruidStatInterceptor druidStatInterceptor, JdkRegexpMethodPointcut druidStatPointcut) {DefaultPointcutAdvisor defaultPointAdvisor = new DefaultPointcutAdvisor();defaultPointAdvisor.setPointcut(druidStatPointcut);defaultPointAdvisor.setAdvice(druidStatInterceptor);return defaultPointAdvisor;}}
七、查看Druid监控信息
上面的东西配置完成之后,就可以启动项目,然后访问:http://127.0.0.1:8080/druid/login.html
填写登录账号和密码,然后登录即可。
至此,整合过程就完成了,如果本章教程对有你帮助,点个赞支持一下呗~
SpringBoot实战教程(6)| 整合Druid相关推荐
- 视频教程-SpringBoot实战教程:SpringBoot入门及前后端分离项目开发-Java
SpringBoot实战教程:SpringBoot入门及前后端分离项目开发 十三,CSDN达人课课程作者,CSDN 博客作者,现就职于某网络科技公司任职高级 Java 开发工程师,13blog.sit ...
- springboot springmvc mybatis_深圳嘉华学校之springboot实战教程
Springboot实战教程 目录 第一章 springBoot概述... 2 href="https://zhuanlan.zhihu.com/write#_Toc508178432&qu ...
- SpringBoot实战教程(4)| 整合Mybatis
MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code,并且改名为MyBatis .2 ...
- SpringBoot实战教程(7)| 整合JPA
JPA是Java Persistence API的简称,中文名Java持久层API,是JDK 5.0注解或XML描述对象-关系表的映射关系,并将运行期的实体对象持久化到数据库中. 目录 一.初始化sp ...
- SpringBoot实战教程(1)| 整合Swagger3.0.0
本文教你如何在SpringBoot中整合Swagger,快速实现在线接口文档. Swagger版本:3.0.0 SpringBoot版本:2.5.6 目录 一.初始化SpringBoot项目 二.引入 ...
- SpringBoot实战教程(8)| 整合mybatis-plus
MyBatis-Plus (opens new window)(简称 MP)是一个 MyBatis (opens new window)的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化 ...
- SpringBoot实战教程(5)| 整合Freemaker
FreeMarker是一款模板引擎: 即一种基于模板和要改变的数据, 并用来生成输出文本(HTML网页.电子邮件.配置文件.源代码等)的通用工具. 它不是面向最终用户的,而是一个Java类库,是一款程 ...
- SpringBoot实战教程(3)| 整合Thymeleaf
Thymeleaf 是一个跟 Velocity.FreeMarker 类似的模板引擎,它可以完全代替传统JSP . 官方文档: Documentation - Thymeleaf 目录 一.初始化Sp ...
- SpringBoot实战教程(2)| 整合knife4j3.0.3
Knife4j的前身是swagger-bootstrap-ui,前身swagger-bootstrap-ui是一个纯swagger-ui的ui皮肤项目.项目正式更名为knife4j,取名knife4j ...
最新文章
- 《将要淘汰的八种人》读后感
- C#——语言基础 之 运算符!
- 【Web安全】提权—使用中国菜刀和iis6.exe在目标服务器创建Administrators用户
- php-fpm进程数优化方法
- npm升级package.json依赖包到最新版本号
- 国家开放大学2021春1171科学与技术题目
- html5 测评游戏,暗黑之王评测:HTML5游戏铸就最华丽ARPG冒险
- 国内11所“袖珍”大学!最小的甚至只有一栋楼……
- 蹲下突然站起来总是会头晕,是什么原因?
- php多条件检索怎么写,sql查询同时满足三个条件 php查询数据库,同时满足三个条件的sql怎么写?...
- 39基础数据结构:动态数组
- 2021 全国大学生电子设计竞赛题目
- dwcs6 mysql站点_dreamweaver cs6中本地站点的管理方法讲解
- Ruby-学习之路1.1
- java开发深圳平均工资_深圳2017平均工资100173元!!这次你又又又拖后腿了吗!?...
- 未来学院计算机,1968年的计算机化未来学校
- 音频编码和视频编码基础
- 利用kmplayer查看wav声音文件的采样率
- Android 检测手机的敲击事件
- html自动半角转全角,全角半角转换就是这么简单
热门文章
- 使用nginx+lua脚本读写redis缓存
- Python Day25
- Reverse Pairs
- 广搜最短路径变形,(POJ3414)
- 能在手机播放的Flash代码
- hdu 4415 Assassin’s Creed 贪心
- Open Graphics Library初步_搭建环境_GLUT
- 情商加油站:职业经理人的10大自我修炼工具
- SpringBoot之解决一对一、多对一、多对多等关联实体在JSON序列化/输出时产生的无限递归死循环问题(infinite recursion)
- win7 64位 VS2010调试提示“ORA-12154: TNS: 无法解析指定的连接标识符”的解决方法