PostgreSQL 9.6 快照过旧 - 源码浅析

PostgreSQL 9.6 快照过旧 - 源码浅析

作者

digoal

日期

2016-10-05

标签

PostgreSQL , 9.6 , 快照过旧 , snapshot too old

背景

在PostgreSQL 9.6以前，垃圾回收存在的问题。

当vacuum回收垃圾时，遇到...

文章

德哥

2016-10-07

5281浏览量

泛金融账务流水 存储与快照回溯查询 案例分享

标签

PostgreSQL , 金融 , 审计数据 , feed , 轨迹数据 , 明细数据 , 快照 , 滑动窗口 , binlog , oss

背景

在金融行业中，或者一些含有支付业务，往来对账业务，虚拟货币业务等业务的场景中，账户系统的变更流水是一份很大的数据。

为什么需要这份流水呢？直...

文章

德哥

2017-07-06

2908浏览量

对PostgreSQL xmin的深入学习

当PostgreSQL需要insert 一条记录的时候，它会把记录头放入xmin,xmax等字段。

xmin的值，就是当前的Transaction的TransactionId。这是为了满足MVCC的需要。

跟踪程序进行了解：

/*

* Allocate the next XID for a ...

文章

嗯哼9925

2017-12-12

1336浏览量

万券齐发助力企业上云，爆款产品低至2.2折起！

限量神券最高减1000，抢完即止！云服务器ECS新用户首购低至0.95折！

广告

数据库查询性能优化之利器—索引(一)

数据库查询性能优化之利器—索引(一)

最近在做基于Android的公交查询系统的过程中，遇到一个很棘手的问题：换乘算法效率低。在直达查询和一次换乘查询的时候，问题体现的还不是很明显，能够在1s之内查询出乘车方案，而当进行二次查询的时候，基本要等一两分钟才能查询出换乘方案，这对于公交查询系统...

文章

eddie小英俊

2015-01-02

716浏览量

看了 5种分布式事务方案，我司最终选择了 Seata，真香！

好长时间没发文了，最近着实是有点忙，当爹的第 43 天，身心疲惫。这又赶上年底，公司冲 KPI 强制技术部加班到十点，晚上孩子隔两三个小时一醒，基本没睡囫囵觉的机会，天天处于迷糊的状态，孩子还时不时起一些奇奇怪怪的疹子，总让人担惊受怕的。

本就不多的写文章时间又被无限分割，哎~ 打工人真是太难了。...

文章

程序员内点事

2020-11-27

449浏览量

对PostgreSQL xmax的理解

xmax

The identity (transaction ID) of the deleting transaction, or zero for an undeleted row version. It is possible for this column to be nonzero in...

文章

嗯哼9925

2017-12-21

1006浏览量

一分钟了解阿里云产品：分布式关系型数据库DRDS

一、

概述

阿里云发布的产品种类齐全，今天就让我们一起来了解下分布式关系型数据库服务(Distribute Relational Database Service，简称DRDS)吧。

什么是DRDS呢？

DRDS是一种水平拆分、可平滑扩缩容、读写分离的在线分...

文章

hayden822

2016-03-11

14316浏览量

PostgreSQL Freeze 风暴预测续 - 珍藏级SQL

标签

PostgreSQL , Freeze , 风暴

背景

PostgreSQL 目前默认的存储引擎，事务可见性需要依赖行头的事务号，因为事务号是32位的，会循环使用。

在一条记录产生后，如果再次经历了20亿个事务，必须对其进行freeze，否则数据库会认为这条记录是未来事务产生的(可见性判...

文章

德哥

2018-05-06

1946浏览量

来了！阿里开源分布式事务解决方案 Fescar

微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务，这样可以降低开发难度、增强扩展性、便于敏捷开发。当前被越来越多的开发者推崇，系统微服务化后，一个看似简单的功能，内部可能需要调用多个服务并操作多个数据库实现，服务调用的分布式事务问题变的非常突出。分布式事务已经成为微服务落地最大的阻碍，...

文章

小攻云攻略

2019-12-13

231浏览量

微服务分布式事务解决方案-springboot整合分布式seata1.3.0

概述

Seat是蚂蚁金服和阿里巴巴联合推出的一个开源的分布式事务框架，在阿里云商用的叫做GTS。项目地址：https://github.com/longxiaonan/springcloud-demo

官网：http://seata.io/zh-cn/index.html

一个XID和三个概念：

...

文章

哮南

2020-07-26

2744浏览量

来了！阿里开源分布式事务解决方案 Fescar

阿里妹导读：广为人知的阿里分布式事务解决方案：GTS(Global Transaction Service)，已正式推出开源版本，取名为“Fescar”，希望帮助业界解决微服务架构下的分布式事务问题，今天我们一起来深入了解。微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务，这样可以降低...

文章

云攻略小攻

2019-01-25

10165浏览量

论Postgres的“已提交的而且 xmin’比当前事务的XID小的记录对当前事务才是可见的”

1.阐述

最近在网上看到这样一句话Postgres“已提交的而且 xmin 比当前事务的XID小的记录对当前事务才是可见的”。先不评断这句话的正确性；看下这句话的结构，因果关系；

按照此话的意思；要postgres中的数据可见必须满足两个必要条件：

事务已经提交(commit)；

提交...

文章

lottu

2016-09-18

1883浏览量

mysql的XA与innodb_support_xa

Mysql支持两种XA：

外部XA

应用程序是协调者(coordinator)，参数事务的服务器节点就是资源管理器(resource manager)，目前存在两个问题：

问题1：当参数分布式事务的协调者退出后，即使参与分布式事务的节点都已经PREPARE成功。从理论上说，这时这些分布...

文章

rudy_gao

2015-08-14

685浏览量

阿里开源分布式事务解决方案 Fescar 全解析

广为人知的阿里分布式事务解决方案：GTS(Global Transaction Service)，已正式推出开源版本，取名为“Fescar”，希望帮助业界解决微服务架构下的分布式事务问题，今天我们一起来深入了解。

FESCAR on GitHub

https://github.com/aliba...

文章

amber涂南

2019-01-28

23399浏览量

【分享】WeX5的正确打开方式(1)

最近在研究WeX5，想在这里记录下使用过程中的点滴，今天先把之前已经掌握的分享一下。 WeX5官方的开发指南难度系数较大，面向的受众可能是已经敲过上万行代码的html5

app开发者。但是作为一个刚进入代码世界的html5 app开发宝宝，本人表示拿着这份指南也找不到“南”，  先抛开官...

文章

小太阳1号

2016-06-21

2111浏览量

PostgreSQL 自定义函数表达式选择性评估算法 - Statistics, Cardinality, Selectivity, Estimate

标签

PostgreSQL , 表达式 , 自定义函数 , 选择性 , Statistics , Cardinality , Selectivity , Estimate

背景

在数据库中，统计信息是估算成本(选择性)的重要基础，目前在PG中统计信息的内容要么是单列，要么是自定义的多列统计信息...

文章

德哥

2018-10-05

1005浏览量

MySQL 5.7 BUGFIX BUG#12161

在MySQL 5.7版本里，大量遗留很多年的bug都被fix掉了，bug#12161就是其中一个，该bug在2005年第一次report到Bug list上，十年之后终于在MySQL 5.7.7 第一个RC版本被fix了。

Bug描述

当我们显式开启一个XA事务，执行操作，并完成XA PRE...

文章

zhaiwx_yinfeng

2016-05-10

1987浏览量

一天学会PostgreSQL应用开发与管理 - 6 事务和锁

本章大纲

一、什么是事务

二、单用户情况下的事务

三、多用户情况下的事务

1 PostgreSQL如何处理事务隔离？

2 多用户情况下的事务并发处理

四、锁

五、数据恢复粒度

六、数据年龄

七、事务冻结

八、垃圾回收

九、flash back query

第四章：事务和锁

...

文章

德哥

2017-04-12

2170浏览量

MySQL源码学习：InnoDB关于group commit的简单QA

前天同事问了个问题，今天又再翻了下group commit。关于这个话题Kristian Nielsen有一个很详尽的系列文章(http://kristiannielsen.livejournal.com/12254.html), 有四个页面，文中有链接。这里列出一些细节，主要是对上面文章...

文章

丁奇

2016-03-24

1534浏览量

如何将阿里云RDS PgSQL恢复到本地主机中

阿里云的RDS for PostgreSQL目前提供的备份为物理备份，备份粒度可以自己设置，最频繁的基础备份可以做到一天一次。 有了这个备份和归档日志，我们可以做到基于任意时间点(实际上是事务提交或回滚点的粒度)的恢复。 在RDS的控制台可以看到：

接下来我将演示一下如何实现以及如何设计一...

文章

德哥

2016-03-16

5213浏览量

PostgreSQL 10.0 preview 功能增强 - 备库支持逻辑订阅, 支持订阅漂移

标签

PostgreSQL , 10.0 , 主备漂移 , 逻辑复制

背景

逻辑复制的本质是从WAL日志中，翻译出逻辑的数据(ROW)，然后同步到下游节点。实际上是一个发布和订阅的流程。

那么有两个问题，

1. 当上游节点使用了流复制搭建主备HA，并且主备发生切换时，下游节点的订阅还能继续吗？...

文章

德哥

2017-03-30

1428浏览量

原因好消息: 自己主动算法设计推箱子游戏(三)

在本节中，我们谈论的闭合曲线充满，为什么这件事情

当一个场景，当我们递归，我们推标箱，假设没有推箱子。然后跑到哪里都白跑。最好是反复出现歧视坐标都是一样的

这些坐标被反转包含(同样的排序结果)。工的位置(求解算法部分再具体说)

因为场景有多个箱子，每一个箱子能够有几个方向移动。重复的寻路效率不高...

文章

eddie小英俊

2017-11-22

919浏览量

闪回之 Flashback Query (dml表、过程、函数、包等)、Flashback version Query

Flashback Query 背景：

Flashback 是 ORACLE 自 9i 就开始提供的一项特性，在 9i 中利用oracle 查

询多版本一致的特点，实现从回滚段中读取表一定时间内操作过的数据，可用来

进行数据比对，或者修正意外提交造成的错误数据，该项特性也被称为 Flashback...

文章

技术小美

2017-11-12

753浏览量

ALICloudDB for PostgreSQL 试用报告 - 6 任意时间点恢复

阿里云的RDS for PostgreSQL目前提供的备份为物理备份，备份粒度可以自己设置，最频繁的基础备份可以做到一天一次。

有了这个备份和归档日志，我们可以做到基于任意时间点(实际上是事务提交或回滚点的粒度)的恢复。

在RDS的控制台可以看到：

接下来我将演示一下如何实现以...

文章

德哥

2015-12-20

2798浏览量

使用pg_resetxlog修复PostgreSQL控制文件的方法

PostgreSQL 控制文件在$PGDATA/global目录下名为pg_control.

控制文件中记录了以下三部分信息 :

1. initdb时生成的静态信息 :

pg_control version number: 922

Catalog v...

文章

德哥

2016-08-14

9788浏览量

初步学习pg_control文件之十五

接前文  初步学习pg_control文件之十四

再看如下这个：

int MaxConnections;

应该说，它是一个参考值，在global.c中有如下定义

/*

* Primary determinants of ...

文章

嗯哼9925

2017-12-11

768浏览量

Mysql的二进制日志binlog的模式说明

binlog模式总共可分为以下三种：row，statement，mixed

1.Row

日志中会记录成每一行数据被修改的形式，然后在slave端再对相同的数据进行修改，只记录要修改的数据，只有value，不会有sql多表关联的情况。优点：在row模式下，bin-log中可以不记录执行的sql语...

文章

吞吞吐吐的

2017-07-05

932浏览量

PostgreSQL flashback query 闪回功能 emulate by trigger

我之前写过一篇关于利用PostgreSQL mvcc特性来模拟闪回, 找回数据的文章, 有兴趣的同学可以参考如下 :

http://blog.163.com/digoal@126/blog/static/163877040201251911813661/

使用以上方法需要担心的一个问题是数据可能...

文章

德哥

2016-09-18

3801浏览量

Spring Cloud Alibaba 七天训练营(七)分布式事务

文档目录

Spring Cloud Alibaba七天训练营(一)基础知识篇

Spring Cloud Alibaba七天训练营(二)分布式配置

Spring Cloud Alibaba七天训练营(三)服务注册与发现

Spring Cloud Alibaba七天训练营(四)分布式服务调用

Spr...

文章

阿里巴巴云原生小助手

2020-09-30

3732浏览量

PostgreSQL 11 新特性解读: psql 新增 \\gdesc 显示查询结果的列名和类型

PostgreSQL 11 的 psql 新增 gdesc 选项，此选项可以返回查询结果的列名和类型，而不实际执行SQL。

Release 说明

psqlAdd psql command gdesc to display the column names and types of the quer...

文章

francs.tan

2019-01-08

2018浏览量