timescale学习记录

关于pgsql大量数据分表和数据保留策略

前言

基于postgresql的开源时序数据库，支持原生sql，对于数据量很大的表可以进行分表操作，在此基础上设置时间保留策略，能让过期数据自动删除。

一、pandas是什么？

TimescaleDB是一款针对快速获取和复杂查询而优化的开源时间序列数据库。

二、使用步骤

1.下载安装插件

下载安装操作

2.具体使用

启用插件：

CREATE EXTENSION IF NOT EXISTS timescaledb;

创建超级表：

create_hypertable()

SELECT create_hypertable('conditions', 'time');

设置块聚合时间：

chunk_time_interval（）

SELECT set_chunk_time_interval('conditions', INTERVAL '24 hours');
// 修改分块的触发条件

SELECT set_chunk_time_interval('conditions', 1000);

压缩策略（暂时不需要使用）：

设置压缩分组

ALTER TABLE example SET (timescaledb.compress,timescaledb.compress_segmentby = 'device_id'
);

超过7天进行压缩处理

 SELECT add_compression_policy('example', INTERVAL '7 days');

数据保留策略：

保留24H数据

SELECT add_retention_policy('conditions', INTERVAL '24 hours');//清除数据保留策略
SELECT remove_retention_policy('conditions');// 查看计划作业
SELECT * FROM timescaledb_information.job_stats;

TimesacleDB设置

// 查看超表
select show_chunks('tablename');
SELECT drop_chunks('tablename', older_than =>id); 删除当前id之前的块

数据保留策略两种方法

方法一
步骤一：创建超表（分区字段time字段是时间格式 类型(TIMESTAMP, TIMESTAMPTZ，DATE)）
SELECT create_hypertable('tablename', 'time',chunk_time_interval => 5000000);
注 ：①  按时间分区，时间字段要设为主键（对于时间不重复的情况下）②  chunk_time_interval => 5000000（分区时间段，单位为毫秒）
步骤二： 创建数据保留策略（默认一天执行一次该策略）
SELECT add_retention_policy('tablename', INTERVAL '1 minutes');
该语句表示只保留1分钟的数据
方法二：
步骤一：创建超表（分区字段id是Integer 类型(SMALLINT, INT, BIGINT)）
SELECT create_hypertable('tablename', 'id',chunk_time_interval => 5000000，if_not_exists => TRUE);
注 ：①  id类型分区，字段要设为主键②  chunk_time_interval => 5000000（分区字段，表示按多少数量分区，表示500万数据一个分区）
步骤二： 创建数据保留策略，按时间保留（默认一天执行一次该策略）
SELECT add_retention_policy('tablename',BIGINT'60000');
必须运行如下语句：(记录当前插入数据的unix（秒）)
CREATE OR REPLACE FUNCTION unix_now() returns INTEGER LANGUAGE SQL STABLE as $$ SELECT extract(epoch from now())::INTEGER $$;SELECT set_integer_now_func('tablename', 'unix_now');
其中 INERGER 要和id字段的类型相同

若要重建策略，先删除原来的策略
SELECT remove_retention_policy('cigarette_single');
查看策略任务详细信息
select * from timescaledb_information.jobs
查看策略任务执行情况
SELECT * FROM timescaledb_information.job_stats
修改策略执行时间
SELECT alter_job(1015, schedule_interval => INTERVAL '6 minutes');
注：1015是策略任务信息中的 job_id，schedule_interval 表示任务执行周期
其他：开启dbug调试，并查看任务运行情况
SET client_min_messages TO DEBUG1;
CALL run_job(1015);

删除块（整数型字段）

SELECT drop_chunks('tablename',older_than =>4184002807); 删除id小于4184002807的块

pg数据库插件timescale时序库使用记录相关推荐

SQL 审核：基于PG数据库插件hook的SQL规范审核工具
关注"数据和云",精彩不容错过内容来源:2017 年 10 月 21 日,平安科技数据库架构师陈刚在"PostgreSQL 2017中国技术大会"进行< ...
postgresql数据库迁移timescale插件问题处理
postgresql数据库迁移timescale插件问题处理问题说明使用pg_dump进行数据库迁移后,开发人员表示在使用timescale的表时报错: ERROR: invalid INSERT ...
安装部署 postgresql数据库搭建timescaledb数据库（时序库）
安装部署 postgresql数据库搭建timescaledb数据库 (时序库) timescaledb 搭建文章目录安装部署 postgresql数据库搭建timescaledb数据库 ...
如何看pg数据库版本号_pg版本是什么-和pg版本相关的问题-阿里云开发者社区
关于 pg版本的搜索结果问题 DMS for PG 的版本还停留在 1.7.0,发布日期是 2018-1-10,一年多了没有发布新版本了,DMS for PG 有没有更新计划? DMS for P ...
【自建分布式数据库详细指南】（四）设计：CITUS分布式数据仓库OLAP/OLTP的架构选择及PG数据库优化方法策略
关于数据库的整体设计,很少有书籍专门试讲,因为这需要博大精深的理论水平以及阅历丰富的工作经验,但往往这两者不可兼得,在设计数据库时需要考虑多方面的因素,如需求,数据体量,数据库架构,硬件环境,成本.这 ...
时序数据库分析 - TimescaleDB时序数据库介绍
背景随着物联网的发展,时序数据库的需求越来越多,比如水文监控.工厂的设备监控.国家安全相关的数据监控.通讯监控.金融行业指标数据.传感器数据等. 在互联网行业中,也有着非常多的时序数据,例如用户访问 ...
DTS 及其在PG 数据库生态中的应用
目录一.PostgreSQL 数据传输通道关键技术 (一)什么是数据传输通道? (二)PostgreSQL 内置数据类型 (三)PostgreSQL 分区表 (四)PostgreSQL 增量数据获取 ...
如何看pg数据库版本号_查看pg数据库版本
PostgreSQL 基本命令链接:http://blog.itpub.net/28602568/viewspace-1841163/ 标题:PostgreSQL 基本命令作者:lōττéry©版 ...
mysql分库一个库和多个库_数据库分库后不同库之间的关联
数据库分库后不同库之间的关联一.所有库在同一节点上当业务垂直拆分出很多业务库的时候,如果都部署在同一个源上(同一个机器节点上),那么这种情况是最好办的,直接库名+表名 join就可以. 二.不在一 ...

pg数据库插件timescale时序库使用记录