浅尝Clickhouse
ClickHouse 特性
SQL 支持
支持大部分 SQL 功能。 列式存储,数据压缩: 列式存储能够更加有利于 OLAP 聚合查询,同时也能大大提高数据压缩率。
多核心并行处理
使用多线程和多分片并行处理。
ClickHouse
将数据划分为多个partition
,每个partition
再进一步划分为多个index granularity
,然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。
在这种设计下,单条Query
就能利用整机所有CPU。极致的并行处理能力,极大的降低了查询延时。
实时数据摄入
数据可以实时批量摄入立即被查询。
主键索引,二级索引
ClickHouse 主要采用了稀疏索引的方式做主键索引,minmax,set,ngrambf/tokenbf 等 Bloom Filter 去做二级索引。
- 没有高速,低延迟的更新和删除方法,
行存储 | 列存储 |
因为按一行一行写和读取数据,因此读取数据时往往需要读取那些不必要的列 | 可以只读取必要的列 |
易于按记录读写数据 | 对一个一个记录的数据写入和读取都较慢 |
适合 OLTP 系统 | 适合 OLAP 系统 |
不利于大数据集的聚合统计操作 | 利于大数据集的数据聚合操作 |
不利于压缩数据 | 利于压缩数据 |
ClickHouse 应用场景
- 用户行为分析,精细化运营分析: 日活,留存率分析,路径分析,有序漏斗转化率分 析,Session 分析等。
- 实时日志分析,监控分析。
- 实时数仓。
ClickHouse 的痛点
- 扩容/缩容后数据无法自动平衡,只能通过低效的数据重新导入的方式来进行人工平衡。
- 单表查询性能高,但是 Join 性能不高。
- 无法高效地更新单行/多行数据。
浅尝Clickhouse相关推荐
- 浅尝key-value数据库(三)——MongoDB的分布式
浅尝key-value数据库(三)--MongoDB的分布式 测试了单机MongoDB的随机读和写入性能,这一节来讲一讲MongoDB的分布式. MongoDB的分布式分成两种,一种是Replicat ...
- 论文浅尝 | 利用多语言 wordnet 上随机游走实现双语 embeddings
论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识图谱问答. 来源:Knowledge Based System 链接:https://www.sciencedirect.com/science/a ...
- 论文浅尝 | 图神经网络综述:方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
- 论文浅尝 | 从 6 篇顶会论文看「知识图谱」领域最新研究进展 | 解读 代码
本文内容源自往期「论文浅尝」,由 PaperWeekly 精选并重新排版整理,感谢 PaperWeekly. ISWC 2018 ■ 链接 | http://www.paperweekly.site/ ...
- 通过集成腾讯 IM 来浅尝一下.net 6 的 MINI API
背景 下一篇在继续 Go 的学习笔记,因为这阵子一直有项目压着,确实没有精力去总结学习成果.所以这篇就先换换口味,切回老本行,分享一下.net 6 的一个小知识. 前些天,我们对外提供的一些管理系统, ...
- 浅尝Pytorch自动混合精度AMP
AMP目录 浅尝Pytorch自动混合精度 从浮点数说起 深度学习中的浮点数 例1-上溢 例2-下溢 解决了什么问题? Pytorch相关功能简述 Autocasting Autocasting作上下 ...
- bo耳机h5使用说明_给想浅尝便携hifi耳机的烧友的一点建议
初入门的烧友,要么是好友推荐品牌或型号,要么是机缘巧合蹭听到了好耳机的声音,心潮澎湃,仿佛一下打开了新世界的大门!原来听的歌,现在听感觉完全不同,有种豁然开朗的感觉,之后,心如小鹿乱撞,恨不得马上买买 ...
最新文章
- hadoopStreaming---使用Python编写MapReduce
- 基于VMM的Rootkit检测技术及模型分析
- 回归框架下的人脸对齐和三维重建
- MS10-002紧急补丁将在美国太平洋时间上午10点左右发布
- java ean13 条形码_【教程】Spire.Barcode 教程:如何在C#中创建EAN-13条码
- 为什么我喜欢单独编程
- 刚刚,阿里巴巴小程序生态联盟重磅启动
- 【java】多线程控制(一)---Semaphore、Exchanger、CyclicBarrier、CountDownLatch
- 【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016
- chrome-推荐13个插件
- leetcode36.有效的数独(中等)
- 嵌入式神经网络处理器-NPU
- java简单的sql语句--增删改查(CRUD)
- Java switch使用详解
- 正弦余弦怎么用计算机计算公式,关于正弦函数和余弦函数的计算公式
- JVM(四).Class 文件结构(附字节码完整解析)
- 数字互动沙盘解决方案
- Python爬取豆瓣高分图书TOP100存入Excel
- IBM P系列小型机更换电池步骤
- 人工势场算法 Matlab版源码
热门文章
- [Filecoin]协议实验室关于SNARK竞赛的公告
- 珍藏书籍,人工智能书籍推荐--AI“圣经”/超详细计算机视觉书籍赠送
- 8本必读关于人工智能伦理问题、社会价值及影响书籍推荐
- 数据防泄密-新时代公司发展的必须
- python,给定任意列表lst和一个任意值item,返回item在lst中第一次出现的位置
- 【B站SXT的Java课程中的错误】054 嵌套循环_循环相关练习
- H5播放B站源的flv视频
- C# 博思得 POSTEK 打印机 打码机 SDK 二次开发 指令打印
- 常微分方程编程基础(ODE)
- Arduino的控制(一):Arduino步进电机六轴机械手(油管搬)