LOAP引擎:clickhouse 01: 介绍、安装及集群搭建
前言
ClickHouse是一个完全的列式数据库管理系统,允许在运行时创建表和数据库,加载数据和运行查询,而无需重新配置和重新启动服务器,支持线性扩展,简单方便,高可靠性,容错。它在大数据领域没有走 Hadoop 生态,而是采用 Local attached storage 作为存储,这样整个 IO 可能就没有 Hadoop 那一套的局限。它的系统在生产环境中可以应用到比较大的规模,因为它的线性扩展能力和可靠性保障能够原生支持 shard + replication 这种解决方案。它还提供了一些 SQL 直接接口,有比较丰富的原生 client。另外就是它比较快。
优缺点
优点
:
1,为了高效的使用CPU,数据不仅仅按列存储,同时还按向量进行处理;
2,数据压缩空间大,减少IO;处理单查询高吞吐量每台服务器每秒最多数十亿行;
3,索引非B树结构,不需要满足最左原则;只要过滤条件在索引列中包含即可;即使在使用的数据不在索引中,由于各种并行处理机制ClickHouse全表扫描的速度也很快;
4,写入速度非常快,50-200M/s,对于大量的数据更新非常适用。
缺点
:
1.不支持事务,不支持真正的删除/更新;
2.不支持高并发,官方建议qps为100,可以通过修改配置文件增加连接数,但是在服务器足够好的情况下;
3.不支持真正的删除/更新支持 不支持事务(期待后续版本支持)
4.不支持二级索引
5.有限的SQL支持,join实现与众不同
6.不支持窗口功能
7.元数据管理需要人工干预维护
8.SQL满足日常使用80%以上的语法,join写法比较特殊;最新版已支持类似SQL的join,但性能不好;
9.尽量做1000条以上批量的写入,避免逐行insert或小批量的insert,update,delete操作,因为ClickHouse底层会不断的做异步的数据合并,会影响查询性能,这个在做实时数据写入的时候要尽量避开;
10.ClickHouse快是因为采用了并行处理机制,即使一个查询,也会用服务器一半的CPU去执行,所以ClickHouse不能支持高并发的使用场景,默认单查询使用CPU核数为服务器核数的一半,安装时会自动识别服务器核数,可以通过配置文件修改该参数。
单机安装步骤
yum install -y curl
2) 添加clickhouse的yum镜像
curl -shttps://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh| sudo bash
3) 检查镜像情况
[root@doit04 yum.repos.d]# yumlist | grep clickhouse
clickhouse-client.x86_64 20.5.4.40-1.el7 @Altinity_clickhouseclickhouse-common-static.x86_64 20.5.4.40-1.el7 @Altinity_clickhouse
4) 安装clickhouse的服务端和客户端
yum install -yclickhouse-server clickhouse-client
5) 启动服务daunt
service clickhouse-server start
6) 启动交互式客户端
clickhouse-client -m
LOAP引擎:clickhouse 01: 介绍、安装及集群搭建相关推荐
- ActiveMQ此例简单介绍基于docker的activemq安装与集群搭建
ActiveMQ拓展连接 此例简单介绍基于Docker的activemq安装与集群搭建 一 :安装 1.获取activemq镜像 docker pull webcenter/activemq 2.启动 ...
- 【云原生 | Kubernetes 实战】01、K8s-v1.25集群搭建和部署基于网页的 K8s 用户界面 Dashboard
目录 一.K8s 概述 可以查看官方文档:概述 | Kubernetes 组件交互逻辑: 二.kubeadm 安装 K8s-v1.25高可用集群 k8s 环境规划: 1.初始化环境 2.安装 Dock ...
- redis安装、集群搭建等
1 Redis介绍 1.1 什么是NoSql 为了解决高并发.高可扩展.高可用.大数据存储问题而产生的数据库解决方案,就是NoSql数据库. NoSQL,泛指非关系型的数据库,NoSQL即Not-On ...
- twemproxy的安装及集群搭建
linux环境-redis代理twemproxy的安装 安装twemproxy 1.下载redis代理源码到本地 2.安装 3.集群搭建 twemproxy(nutcracker)是一个快且轻量级的缓 ...
- RabbitMQ的安装及集群搭建方法
转自:http://blog.csdn.net/u013256816/article/details/53524766 RabbitMQ安装 1 安装erlang 下载地址:http://www.er ...
- Redis基于Linux系统的安装与集群搭建
最近项目里需要引入Redis,这里记录下Redis的安装.这里以centos7为例,首先我们需要确保防火墙关闭 systemctl status firewalld.service //查看防火墙状态 ...
- kafka基础之介绍和分布式集群搭建
一 kafka介绍 现在各个电商平台,社交平台等诸多系统可以不断生产出各种细信息,那么我们应该如何收集它,如何分析它,以及输入实时的做到以上需求.Kafka应运而生. Kafka是一个分布式的的流式系 ...
- 基于CentOS的分布式文件系统GlusterFS安装、集群搭建和运维
一.准备工作 1.1 glusterfs的发展史 2011年10月04日,红帽收购Gluster. 2014年4月30日,红帽公司以1.75亿美元的价格将Ceph的企业级产品提供商Inktank收入囊 ...
- 【菜鸟教程】Kafka消息队列入门上(安装、集群搭建、基本命令行操作)
概述 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域. 消息队列 什么是消息队列呢? 例如在网站注册时,一般是同步的,当接收到 ...
- linux系统中MongoDB数据库安装及分片集群搭建
史上最全的mongodb分片集群搭建,从介绍安装到集群搭建授权,你再也找不到比他更加详细的资料了,未经允许禁止转载!! 一.简介 MongoDB是一个便于开发和扩展设计的文档数据库,属于NoSQL数据 ...
最新文章
- 计算机专业每年都有国企招老吗,这十大专业在国企中最受欢迎,待遇高、前景好,有你的专业吗?...
- Android 开源框架Universal-Image-Loader全然解析(一)--- 基本介绍及使用
- 大数据开发实战:Hive表DDL和DML
- 软件测试面试-如何测试一个杯子(转)
- python3 编译优化 --enable-shared --enable-optimizations
- hdc和hwnd的区别
- linux使用技巧:自动补全、常用快捷键* ? [] {}
- Swift之深入分析字典的下标访问方法的源码调试和汇编实现
- 用C语言创建多个用户,实现支持多用户在线的FTP程序(C/S)
- java点击按钮结线程_多线程的Java应用程序在调试工具Netbeans中单击“停止”按钮时输出一个奇怪的结果...
- sqlserver mysql时间格式化_SqlServer时间格式化
- java 高级编程进阶_JAVA高级编程之hibernate进阶学习
- 文件操作,列表实例NiceHexSpiral
- maven项目pom中scope类型
- 后台弹出界面权限踩坑
- POI生成Word水印watermark(兼容WPS)的终极解决方案
- Linux在sudo apt-get update或install时出现archive.ubuntu.com连接失败 [IP: 91.189.91.39 80]的错误解决方案
- 均值滤波与中值滤波(python实现)
- GAN相关模型和论文
- Tracert 抓包测试
热门文章
- 【MOOC】华中科技大学计算机组成原理慕课答案-第二章-数据表示
- 60906磁悬浮动力系统应用研究与模型搭建
- ElasticSearch测试数据集
- 非度量多维排列 NMDS (Non-metric multidimensional scaling)分析
- python网易公开课官网_[Python][爬虫]网易公开课下载器,支持多线程,可分别下载视频及字幕...
- png在线转换透明ICO
- vue页面引用echart的词云图
- 全民一起VBA提高篇 专题1 第二回 变体终非万全策,数字要分长短型
- matlab如何打开word文档,matlab操作word
- setmap 与其他数据结构的互相转换