12.1.2、Doris__基本使用、doris的基本命令、建表概念、语句、建表语法、建表方式(引擎存储规则)、导入数据的方式、支持的数据类型、rollup索引
1、Doris使用(类似mysql的操作命令)
1)自带root用户
进入Doris集群:mysql -uroot -h node1 -P 9030 -p (回车输入密码)
创建用户(普通用户):create user ‘test’ identified by ‘123456’
创建数据库:create database test_db;
显示数据库:show databases
2)创建数据库并赋予权限(将test_db数据库权限赋予普通用户test)
grant all on test_db to test
2、Doris建表–基本概念
在doris中,数据都以表(table)的形式进行逻辑上的描述(行与列)
3、建表语法(create table)
类似mysql,字段的类型也是类似mysql很多
4、建表方式(引擎存储规则)
Doris支持单分区和符合分区两种建表分区
单分区即数据不进行分区,数据只做HASH分布,也就是分桶 Tablet
在复合分区中:
第一级称为Partition,即分区,用户可以指定某一维度列作为分区列(当前仅支持整形和时间类型的列),并指定每个分区的取值范围
第二级成为Distribution,即分桶,用户可以指定一个或多个维度列以及桶数对数据进行HASH分布
同一分区的不同Tablet物理上是分开存放的,数据最小的存储就是以Tablet存放的
eg:建立表table1,分桶列为siteid,桶数为10
create table table1(
siteid int default '10', //网站,给定默认值10
citycode smallint, //城市
username varchar(32)default ' ', //用户
pv bigint sum default ‘0’ //浏览次数
)aggregate key(siteid,citycode,username) //key,因为pv字段使用了sum聚合函数,当这里的key一样时,pv数据相加(预聚合)
distributed by HASH(siteid) BUCKETS 10
properties("replication_num" = "1"); //副本数,默认为3,可以设置
导入数据:5种
1)Stream load 方式(小数据,文件等) curl --location-trusted -u root:123456 -H
“label:table_20210210” -H “column_separator:,”(分隔符) -T
table_data(本地数据文件) http://node01:8030/api/test_db/tablet/_stream_load
2)insert方式 insert into table1 value(1,1,‘user1’,10);
3)brokerLoad导入数据(大数据量)
4)Routine Load导入数据(实时数据) 仅支持kafka系统进行例行导入
eg:建表-复合分区,建立表table2,分区分桶
create table table2(
event_day DATE,
siteid int default '10', //网站,给定默认值10
citycode smallint, //城市
username varchar(32)default ' ', //用户
pv bigint sum default ‘0’ //浏览次数
)aggregate key(event_day,siteid,citycode,username) //key,因为pv字段使用了sum聚合函数,当这里的key一样时,pv数据相加(预聚合)
partition by range(event_day)
(
partition p202106 values less than ('2021-07-01'),
partition p202107 values less than ('2021-08-01'),
partition p202108 values less than ('2021-09-01')
)
distributed by HASH(siteid) BUCKETS 10
properties("replication_num" = "1"); //副本数,默认为3,可以设置
5、数据类型
6、rollup(类似表的索引)
Rollup可以理解为表的一个物化索引结构。Rollup可以调整列的顺序以增加前缀索引的命中率,也可以减少key列以增加数据的聚合度
(1)以session_data为例添加Rollup
desc session_data all;
(2)比如我经常需要看某个城市的ip数,那么可以建立一个只有ip和city的rollup
alter table session_data add rollup rollup_city_ip(city,ip);
(3)创建完毕后,再次查看表结构
desc session_data all;
12.1.2、Doris__基本使用、doris的基本命令、建表概念、语句、建表语法、建表方式(引擎存储规则)、导入数据的方式、支持的数据类型、rollup索引相关推荐
- 从Excel中导入数据时,提示“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”的解决办法...
注意,64位系统,用64位的补丁文件; https://www.cnblogs.com/A2008A/articles/2438962.html 操作系统:使用的是64位的Windows Server ...
- 全在这了!全国分省90米、30米、12.5米、5米DEM高程模型数据下载方式汇总
全在这了!全国分省90米.30米.12.5米.5米DEM高程模型数据下载方式汇总 SRTM15(450米)免费下载 https://pan.baidu.com/s/1eO0U6wfzs7YSe2EQd ...
- 赵强老师:Oracle数据库系列课程(12)管理数据库的存储结构与数据的并发-赵强老师-专题视频课程...
赵强老师:Oracle数据库系列课程(12)管理数据库的存储结构与数据的并发-82人已学习 课程收益 从零开始学习Oracle数据库,让学员读整个Oracle数据库有个全面清除的认识和学习. ...
- 表单展示界示例_联系表单页面设计的12个最佳实践(包括示例)
表单展示界示例 Do you want to improve your contact form page design? A good contact form page design encour ...
- LESSON 12.8 原理进阶 (1):GBDT数学流程与残差概念辨析
四 原理进阶:GBDT的求解流程 1 GBDT的基本数学流程 作为当代众多经典算法的基础,GBDT的求解过程可谓十分精妙,它不仅开创性地舍弃了使用原始标签进行训练的方式,同时还极大地简化了Boosti ...
- 2022年江苏专转本计算机应用基础
该文章是基于个人理解的个人整理,如有错误欢迎指正.由于不清楚改革后的情况本文章只提供一种思路与方向,且文章是用于考试整理背诵,如要学习请从专业书籍或者专业课程中学习.如有错误或存疑欢迎指正 (目前完成 ...
- @value 数组_数据结构与算法:12 数组与稀疏矩阵
12 数组与稀疏矩阵 知识结构: 图1 知识结构 1. 数组 1.1 数组的定义 数组是具有一定顺序关系的若干对象组成的集合,组成数组的对象称为数组元素. 例如: 向量对应一维数组 矩阵对应二维数组 ...
- 初中计算机课程教案模板,初中体育课电子表格教案模板(共12篇)
第1篇:电子表格教案 七年级EXCEL教案 Excel基本应用教案 一.内容分析 内容如下:初识电子表格.我的工作簿.工作表.Excel中公式的使用.Excel中函数的应用.数据的排序及筛选.Exce ...
- 应用层加密方_加密应用层数据之前要问的6个问题
应用层加密方 In the era of Facebook data scandals and Edward Snowden whistleblowers, data has never been a ...
最新文章
- 网站页面内链如何布局才更有利于SEO?
- python 装饰器 参数-如何将额外的参数传递给Python装饰器?
- GDB调试器使用总结
- java中改变字符串编码
- OP AMP - 反馈理论在运放中的应用
- 面试题简答题——数据库相关汇总
- 提交数据网页设计_网站网页编写需要注意哪些问题?
- 云计算之openstack(N版)neutron网络服务最佳实践
- 面向对象-java控制台计算器简单实现[50行]
- 系统架构变迁——个人成长路线
- 使用Entrez下载文献
- linux51单片机烧录程序,单片机成长之路(51基础篇) - 006 在Linux下搭建51单片机的开发烧写环境...
- JavaScript:实现NQueen皇后问题算法(附完整源码)
- 【软件工程】产品调研分析报告
- 竞斗云lite正式发布,就是冲着2亿电竞用户的客厅去的!
- 19-10-29-C++基础学习二
- LigerUI视频教程_基于LigerUI前端技术实现的管理平台
- php数组和链表的区别,什么是链表?链表与数组的区别?
- 雅可比(Jacobi)计算特征值和特征向量
- html 插入 排班表,怎么用Word制作排班表,手把手教你学会
热门文章
- [DP] 【UNR #2】积劳成疾
- 《年度区块链产业发展报告(2020)》重磅发布,透视产业应用现状与未来
- java 编译器原理_作业5:Java编译原理
- c语言海报,C语言 竞选海报
- 如何使用kodi Mac安装中文插件
- SD,TF,SD卡檢測腳
- ZFS case : top CPU 100%sy, when no free memory trigger it.
- 爬虫,第十次实战之线程池(梨视频下载)
- oracle中的存储过程是什么,oracle存储过程是什么?
- ps 粗糙的练习磨皮小结实现的步骤---粗略的版本