Mysql如何快速制造千万级上亿条数据？

大前提

首先确保当前表中至少有一条数据。

思路

对表中数据进行指数型增加，n的2，3，4，…，x次方的递增。

命令：INSERT INTO 表名(字段1，字段2，…，字段n) SELECT (字段1，字段2，…，字段n) FROM 表名;

说明

字段为必填字段即可，可以使用RAND()函数对主键字段进行不重复处理；会成指数型递增，到千万级的时候就比较慢了，如果需要上亿级数据，最好准备一个一千万级的辅助表，将select后面的表改为辅助表名即可。

举例

INSERT INTO user(user_no,user_name,phone) SELECT FLOOR(1+RAND()*99999999),"张三" + FLOOR(1+RAND()*999),FLOOR(1+RAND()*19999999999) FROM user;

Mysql如何快速制造千万级上亿条数据？相关推荐

使用hbase来解决上亿条数据的准实时响应
使用hbase来解决亿级数据的准实时响应项目中的app行为日志,用户授权收集的通讯录.通话记录.短信和联系人信息,随着时间的推进,数据量进入亿数据级,千万级的创建索引,来加快查询速度的优化方式,此时 ...
sqluldr2 完美导出 ORACLE上亿条数据
linux下配置 oracle数据导出工具sqluldr2 由于ORACLE 不支持大批量大规模的数据导入导出,当需要对数据库中的大量的表和数据进行备份时,就必须借助中间工具来对数据进行导出操作: 尝 ...
上亿条数据，如何比对并发现两个表数据差异
目录一.背景二.分析流程三.验数方法 3.1 数据量级比对 3.2 一致性比对 3.2.1 勾稽验证+md5方法 3.2.2 暴力比对法 3.3 差异数据发现四.总结本文是考拉验数(自动化验 ...
mysql如何装上亿数据_mysql千万或者上亿的数据怎么设计数据库
1.首先可以考虑业务层面优化,即垂直分表. 垂直分表就是bai把一个数据量很大的表,可以按某个字段的属性或使用频繁程度分类,拆分为多个表. 如有多种业务类型,每种业务类型入不同的表,table1,ta ...
Sqoop分批导入Mysql上亿条数据的表到HDFS
因数据量过大,运行sqoop跑不动或者卡内存,于是通过写脚本分批导入到HDFS,然后再加载到Hive表中. shell脚本如下: #!/bin/bash source /etc/profilehost ...
对于上千万甚至上亿的数据，如何正确的删除？
[原创] 波波说运维 2019-06-22 00:01:00 概述当我们的系统进入海量数据时代后,很多过去看起来轻松简单的事情就变得比较复杂.此时,就需要我们采取一些独特的技术和技巧,来避免因此带来 ...
上亿条数据（GB级）文件去重解决方案
1.准备待处理的文件 2.随便一个文件都有100000000条数据库,如果直接去重非常麻烦 3.一段php代码解决问题 define('FileIn', $argv[1]); $time_start ...
【华为云技术分享】上亿条数据，如何查询分析简单又高效？
正值618大促,小张遇到了一个棘手的问题,需要在一周内将公司近1年电商部门的营收和线下门店经营数据进行联合分析. 这将产生哪些数据难题呢? 数据孤岛:电商部门的数据存在数仓A.门店经营收入数据存在数仓 ...
上千万或上亿数据（有重复），统计其中出现次数最多的N个数据. C++实现
上千万或上亿的数据,现在的机器的内存应该能存下.所以考虑采用hash_map/搜索二叉树/红黑树等来进行统计次数.然后就是取出前N个出现次数最多的数据了,可以用第2题提到的堆机制完成. #includ ...

Mysql如何快速制造千万级上亿条数据？

大前提

思路

命令：INSERT INTO 表名(字段1，字段2，…，字段n) SELECT (字段1，字段2，…，字段n) FROM 表名;

说明

举例

Mysql如何快速制造千万级上亿条数据？相关推荐

最新文章

热门文章