收集下关系数据库处理亿万级别的数据

第一阶段：
1，一定要正确设计索引
2，一定要避免SQL语句全表扫描，所以SQL一定要走索引（如：一切的 > < != 等等之类的写法都会导致全表扫描）
3，一定要避免 limit 10000000,20 这样的查询
4，一定要避免 LEFT JOIN 之类的查询，不把这样的逻辑处理交给数据库
5，每个表索引不要建太多，大数据时会增加数据库的写入压力第二阶段：1，采用分表技术（大表分小表）a)垂直分表：将部分字段分离出来，设计成分表，根据主表的主键关联
b)水平分表：将相同字段表中的记录按照某种Hash算法进行拆分多个分表2，采用mysql分区技术（必须5.1版以上，此技术完全能够对抗Oracle），与水平分表有点类似，但是它是在逻辑层进行的水平分表第三阶段（服务器方面）：1,采用memcached之类的内存对象缓存系统，减少数据库读取操作
2,采用主从数据库设计，分离数据库的读写压力
3,采用Squid之类的代理服务器和Web缓存服务器技术PS:由于篇幅问题，我只简单说一些基本概念，其实里面每个知识点关系到的内容都很多。特别是第一阶段，很多工作几年的程序员，都不能完全理解。我觉得要真正理解索引，最好的办法就是在1000W-亿级以上的数据，进行测试SQL语句，再结合 explain 命令进行查看SQL语句索引情况

----------------------------------------------------------------------------------------------------------------------------------去掉表的所有索引
用批量进行插入
分表或者分区，减少每个表的数据总量
在某个表完全写完之后再建立索引
正确的指定索引字段
把需要用到的字段放到包含索引中(在返回的索引中就包含了一切)
查询的时候只返回所需的字段

收集下关系数据库处理亿万级别的数据相关推荐

内存有限的情况下 Spark 如何处理 T 级别的数据？
简单起见,下述答案仅就无shuffle的单stage Spark作业做了概要解释.对于多stage任务而言,在内存的使用上还有很多其他重要问题没有覆盖.部分内容请参考评论中 @邵赛赛给出的补充. ...
基于Vue+SpringCloudAlibaba微服务电商项目实战-商品服务-015：亿万级别商品详情页面实现动态优化
015:亿万级别商品详情页面实现动态优化 1 亿万级别商品详情页面如何设计 2 使用Nginx缓存商品详情页面 3 使用FreeMarker生成静态化模板页面 4 openresty+lua实现亿级别 ...
如何处理百亿级别的数据信息
导读:本次分享将从以下几个方面进行分享,首先讲一下我们目前所做的工作,目前平台架构是怎么样的,第二个是大量日志情况下如何收集,第三个涉及百亿数据后如何快速存储以及快速查询,第四个讲一下数据存储后如何对 ...
1.8-1.10 大数据仓库的数据收集架构及监控日志目录日志数据，实时抽取之hdfs系统上...
一.数据仓库架构二.flume收集数据存储到hdfs 文档:http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hd ...
从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践
摘要:在2017年云栖大会•北京峰会的大数据专场中,来自阿里云的高级技术专家李雪峰带来了主题为<金融级别大数据平台的多租户隔离实践>的演讲.在分享中,李雪峰首先介绍了基于传统IaaS单租户 ...
php 100万数据,关于批量插入数据之我见（100万级别的数据，mysql）
关于批量插入数据之我见(100万级别的数据,mysql) ~~~ $dsn = 'mysql:host=localhost;dbname=test'; $db = new PDO($dsn,'root ...
10w 行级别Excel数据量导入优化记录
点击上方蓝色"终端研发部",选择"设为星标" 学最好的别人,做最好的我们作者 | ThinkWon 来源 | blog.csdn.net/ThinkWon/a ...
《统计学：从数据到结论》学习笔记(part1)--统计学是收集、分析、展示和解释数据的科学
学习笔记学习书籍:<统计学:从数据到结论>-吴喜之: 参考书目:<统计学>-贾俊平一些统计学的基本概念啥是统计学? 按照不列颠百科全书关于统计学的定义,统计学是" ...
vue el-checkbox按下shift键实现批量选择数据
目录 1.先看下效果 2.代码分析 1.添加html代码,先将列表写出来 2.初始化数据:给原数据添加index属性 3.设置一个flag记录是否按下了shift键,通过监听键盘按下和松开给flag赋 ...

收集下关系数据库处理亿万级别的数据

收集下关系数据库处理亿万级别的数据相关推荐

最新文章

热门文章