mysql大数据分库和分表 php解决方案
1,主从复制,读写分离
对主库修改数据,查询使用从库。一主多从,来降低数据库读取压力。
2,分库分表
根据实体业务来分库,分表。如,根据数据的活跃性,根据用户uid等。
3,MySQL 不同存储引擎区别
InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用。
分表是分散数据库压力的好方法。
分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库。
当然,首先要知道什么情况下,才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。
1,分表的分类
1>纵向分表
将本来可以在同一个表的内容,人为划分为多个表。(所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的。)
分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)
案例:
对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。
这样纵向分表后:
首先存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb ,可以有更好的更新速度。
其次,对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。
其实,对于一些特殊的活跃数据,也可以考虑使用memcache ,Redis
之类的缓存,等累计到一定量再去更新数据库。或者MongoDB 一类的nosql 数据库,这里只是举例,就先不说这个。
2>横向分表
字面意思,就可以看出来,是把大的表结构,横向切割为同样结构的不同表,如,用户信息表,user_1,user_2 等。表结构是完全一样,但是,根据某些特定的规则来划分的表,如根据用户ID来取模划分。
分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。
案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。
1,背景:一个地址薄的应用程序,设计的用户量为2亿,统计出每个用户的地址薄为30个左右,整个数据量为60亿,使用mysql数据库(亿级数据库设计)
计划分为:1000个表,100个库
2,分库分表代码
private function getDbNo($email)
{
$m = md5($email);
$n = hexdec(substr($m, 0, 16));
$tableNo = fmod($n, 1000);
$dbNo = $tableNo % 100;
return array($dbNo, $tableNo);
}
3,配合的连接访问代码
require_once ‘Db/Config.PHP’;
class Db_Adapter
{
const MASTER = 0;
const SLAVE = 1;
private static $instances = array();
private $conf = array();
private $conns = array();
private $conn = NULL;
private $stmt = NULL;
public function __construct($conf)
{
$this->conf = $conf;
}
public function execute($sql, $params)
{
$cmd = substr(strtolower(trim($sql)), 0, 6);
if ($cmd == ‘select’) {
$conn = $this->getConn(self::SLAVE);
} else {
$conn = $this->getConn(self::MASTER);
}
$conn->prepare($sql);
$stmt = $conn->execute($params);
$this->conn = $conn;
$this->stmt = $stmt;
}
public function fetch()
{
return $this->stmt->fetch();
}
public function fetchAll()
{
return $this->stmt->fetchAll();
}
public function lastInsertId($name = NULL)
{
return $this->conn->lastInsertId($name);
}
public function rowCount()
{
return $this->stmt->rowCount();
}
private function getConn($type)
{
if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
$id = 0;
} else {
$id = 1;
}
if (!isset($this->conns[$id])) {
$conf = $this->conf[$id];
$this->conns[$id] = new PDO(
$conf['dsn'], $conf['user'], $conf['pass'],
self::dbOptions);
}
return $this->conns[$id];
}
public static function getInstance($dbName, $dbNo = 0)
{
$key = $dbName . ‘_’ . $dbNo;
if (!isset(self::$instances[$key])) {
$conf = Db_Config::getConfig($dbName, $dbNo); //连接配置参数
self::$instances[$key] = new self($conf);
}
return self::$instances[$key];
}
}
4,潜在问题
如果某个表中的那些用户的地址薄联系人超多,如每个人1000个,则可能出现该表超大,需要把该表区分为子表,暂时没有配置中心来处理该情况。
(若真的出现该情况,在连接参数这个地方继续作一次hash)。
来源:http://blog.csdn.net/u010817136/article/details/51038121
mysql大数据分库和分表 php解决方案相关推荐
- mysql tb_Mysql数据库分库和分表方式
原标题:Mysql数据库分库和分表方式 本文主要给大家介绍Mysql数据库分库和分表方式(常用),涉及到mysql数据库相关知识,对mysql数据库分库分表相关知识感兴趣的朋友一起学习吧 1 分库 1 ...
- Mysql数据库常用分库和分表方式
转载地址:http://blog.csdn.net/clevercode/article/details/50877580 1 分库 1.1 按照功能分库 按照功能进行分库.常见的分成6大库: ...
- mysql大数据解决方案--分区分表分库
这篇文章主要介绍了MyBatis实现Mysql数据库分库分表操作和总结,需要的朋友可以参考下 前言 作为一个数据库,作为数据库中的一张表,随着用户的增多随着时间的推移,总有一天,数据量会大到一个难以处 ...
- mysql分布式数据库架构_MySQL分布式数据库架构:分库、分表、排序、分页、分组、实现教程...
MySQL分库分表总结: 单库单表 : 单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到. 单库多表 : 随着用户数量的增加, ...
- MySQL分库、分表、分区的区别
1.1 分 很多技术都运用了分的编程思想,这里来举几个例子,这些都是分的思想 集中式服务发展到分布式服务 从Collections.synchronizedMap(x)到1.7ConcurrentHa ...
- 【分库、分表】MySQL分库分表方案
一.Mysql分库分表方案 1.为什么要分表: 当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了.分表的目的就在于此,减小数据库的负担,缩短查询时间. ...
- 2021-01-19:mysql中,一张表里有3亿数据,未分表,其中一个字段是企业类型,企业类型是一般企业和个体户,个体户的数据量差不多占50%,根据条件把个体户的行都删掉。请问如何操作?
2021-01-19:mysql中,一张表里有3亿数据,未分表,其中一个字段是企业类型,企业类型是一般企业和个体户,个体户的数据量差不多占50%,根据条件把个体户的行都删掉.请问如何操作? 福哥答案2 ...
- php mysql分表分库_MySQL分表和分库方案(php版)
1,主从复制,读写分离 对主库修改数据,查询使用从库.一主多从,来降低数据库读取压力. 2,分库分表 根据实体业务来分库,分表.如,根据数据的活跃性,根据用户uid等. 3,mysql 不同存储引擎区 ...
- 【转载】分布式数据库架构--分库、分表、排序、分页、分组、实现
MySQL分库分表总结: 单库单表 : 单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到. 单库多表 : 随着用户数量的增加, ...
最新文章
- 解决:VS 2005/2008 中 fstream 不能处理带有中文路径的问题
- Java反射详细介绍
- 机器学习之支持向量机
- 《MySQL实战45讲》实践篇 24-29 学习笔记 (主备篇)
- 第十周项目1-程序填充与阅读(三)
- navmesh思路的A*寻路算法优化
- 你真的会使用SQL Server的备份还原功能吗?之一:恢复模型
- Maven中的DependencyManagement和Dependencies
- 数据结构考研:随机存取、顺序存取、随机存储和顺序存储的区别/详细解释(计算机/软件工程/王道论坛)
- 大华linux密码,大华wifi摄像头的初始化和读取视频流
- 美国好莱坞经典系列影片推荐
- SkeyeRTSPLive传统视频监控互联网+实现利器解决方案
- 流程图+BPMN+脑图 JointJS++ 3.6.3 Crack
- LoRaWAN介绍13 SX1301
- C#开发的TD防御游戏详解——星际防御
- 视频怎么抠像?这个方法很好用
- 阮一峰php博客,在PHP语言中使用JSON – 阮一峰的网络日志
- linux系统如何配置下载源及中文(保姆级教程)
- c4d关于链条的制作图文介绍
- seata的xid是如何传播的?
热门文章
- android 蓝牙打印格式,Android蓝牙打印格式排版
- 05,pytorch_手写数字案例
- Linux服务器编程之:link()函数,ln命令,symlink,readlink,案例说明
- 系统中常用操作基类(SSH项目中)非常非常经典的部分
- Oracle创建和管理表
- python islower函数_python字符串是否是小写-python 字符串小写-python islower函数-python islower函数未定义-嗨客网...
- html的ideo标签兼容那些浏览器,关于video 标签的浏览器支持
- java填写xls模板_Java 新建excle文件并填充模版内容
- 利用Pytorch的C++前端(libtorch)读取预训练权重并进行预测
- caffe matio问题