clickhouse建库_ClickHouse高性能数据库

前面的文章ClickHouse之初步认识已经简单的介绍了ClickHouse，接下来进行简单的性能测试。测试数据来源于美国民用航班的数据，从1987年到2017年，有1.7亿条。

环境：

centos 6.3，32G内存，24核

下载脚本：

#!/bin/bash

for s in `seq 1987 2017`

for m in `seq 1 12`

mwget -n 128 http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip

done

这里采用的是mwget，128个线程，mwget是wget的多线程版本。wget太慢了。关于mwget的安装，请参考：https://my.oschina.net/766/blog/156807

下载以后的数据是zip压缩包，如下：

下载完数据以后建表：

客户端登录： clickhouse-client -m，如果不加-m启用多行，那么将会报错：

View Code

导入数据：

for i in *.zip; do echo $i; unzip -cq $i '*.csv' | sed 's/\.00//g' | clickhouse-client --query="INSERT INTO ontime FORMAT CSVWithNames"; done

开始查询测试：

可以看见1.7亿数据，count用了0.034秒，当然列存储数据库count都不快还搞毛。

继续测试其他的语句

从2000年到2016年每天的航班统计

SELECT DayOfWeek, count(*) AS c FROM ontime WHERE Year >= 2000 AND Year <= 2016 GROUP BY DayOfWeek ORDER BY c DESC;

2000 - 2008年度机场延误数

SELECT Origin, count(*) AS c FROM ontime WHERE DepDelay>10 AND Year >= 2000 AND Year <= 2008 GROUP BY Origin ORDER BY c DESC LIMIT 10

这些查询都有一个范围限制，那么全部查完呢？

比如：

SELECT OriginCityName, DestCityName, count() AS c FROM ontime GROUP BY OriginCityName, DestCityName ORDER BY c DESC LIMIT 10;

可以看见依然快的不像话，哈哈。心动了没？心动了就动手安装，导入数据测试一下吧。

转载自：http://www.cnblogs.com/gomysql/p/6655553.html

小编附加使用手册：https://clickhouse.yandex/reference_en.html#MergeTree

这个数据库适合查询和存储两种方式的数据，不适合修改类型的数据，可以应用于数据的采集，和信息的记录；

clickhouse建库_ClickHouse高性能数据库相关推荐

mysql建库 utf_mysql创建数据库 utf
CentOS6.5下通过Shell创建.备份.还原MySQL数据库 CentOS6.5下通过Shell创建.备份.还原MySQL数据库创建数据库: mysql -uroot -p123456 -e ...
clickhouse建库_专访ClickHouse创始人：数据库竞争依旧火热，技术整合势在必行
加入「公开课」交流群,获取更多学习资料.课程及热招岗位等信息翻译|郑天祺 (Amos Bird) 中科院计算所博士整理 | 夕颜 2000 年以来,随着自互联网和云计算技术变革,数据库技术从底层计 ...
mysql建库1044_Mysql创建数据库时提示Error 1044
grant 权限 on 数据库对象 to 用户一.grant 普通数据用户,查询.插入.更新.删除数据库中所有表数据的权利. grant select on testdb.* to common_ ...
pdo mysql 建库_pdo 创建数据库
通过PDO 连接SQL Server 在开发PHP程序时我们可以借助多种连接方式访问各类的数据库获取所需的数据.自PHP5以来PDO作为新生事物将所有数据库接口收入囊中,为开发人员提供了方便快捷的数据 ...
mysql建库权限_mysql数据库用户权限及建库脚本
/* 创建系统数据库mydatabasename */ drop database if exists mydatabasename; create database mydatabasename; ...
县级外业调查及举证软件_我公司中标江西省第三次全国国土调查县级建库软件项目...
2019年4月18日,我公司中标江西省第三次全国国土调查县级建库软件项目,是全省唯一的软件提供服务商. 江西省全省统一采购并下发的县级第三次国土调查数据库建库软件主要包括数据建库.外业调绘和数据管理三 ...
【Oracle】手工建库
操作系统:OEL 5.6 数据库版本:Oracle11gR2 11.2.0.4.0 新建数据库名称:lgr 1 生成pfile和口令文件 1)生成pfile文件,在模板文件init.ora中提取 [ ...
oracle手动建库_Oracle 手工建库步骤
可参考官方文档操作管理员指南创建并配置数据库使用建库语句创建数据库 1-14为官方文档手工建库步骤,9为建库语句步骤1:指定实例标识符(SID) 步骤2:确保设置了所需的环境变量第3步:选择数 ...
oracle手动建库_Oracle手动建库过程
最近在网上看到很多初学Oracle或是从旧版的Oracle升级到10G的朋友们都问如何在Oracle 10G里手工建库的问题.今天正好有空,于是乎把在Oracle 10G里手工建库的全过程写出来,供各 ...

clickhouse建库_ClickHouse高性能数据库

clickhouse建库_ClickHouse高性能数据库相关推荐

最新文章

热门文章