向数据库中插入千万级数据

1. 数据库环境

1.1 MySQL版本

我用到的是MySQL5.6.38版本。

1.2 数据表创建

CREATE TABLE `student` (`id` char(32) NOT NULL,`t_name` varchar(255) DEFAULT NULL,`t_password` varchar(255) DEFAULT NULL,`sex` char(2) DEFAULT NULL,`description` varchar(255) DEFAULT NULL,`pic_url` varchar(255) DEFAULT NULL,`school_name` varchar(255) DEFAULT NULL,`regist_date` datetime DEFAULT NULL,`remark` varchar(255) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

1.3 更改MySQL数据库`max_allowed_packet`属性大小

max_allowed_packet属性用于限制Server接受的数据包大小。有时候大的插入和更新会受 max_allowed_packet 参数限制，导致写入或者更新失败。

查看默认的max_allowed_packet大小（默认大小只有4M或1M，由版本决定）：

show VARIABLES like '%max_allowed_packet%'

修改max_allowed_packet大小：

set global max_allowed_packet = 100*1024*1024;

修改参数大小后，一定要重新登录，才能看到属性值的改变。

2. 大数据量的生产

package _13数据库超大数据量生成;import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Date;
import java.util.UUID;/*** @Auther: 田金东* @Date: 10/31/0031**/
public class InsertTest {private static final String URL = "jdbc:mysql://127.0.0.1:3306/test?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf-8";private static final String DRIVER = "com.mysql.jdbc.Driver";private static final String USERNAME = "root";private static final String PASSWORD = "sss";public static void main(String[] args) throws SQLException, ClassNotFoundException {Class.forName(DRIVER);Connection conn = DriverManager.getConnection(URL, USERNAME, PASSWORD);//获取连接if (conn != null) {System.out.println("获取连接成功");insert(conn);} else {System.out.println("获取连接失败");}}public static void insert(Connection conn) {// 开始时间Long begin = new Date().getTime();// sql前缀String prefix = "INSERT INTO student (id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark) VALUES ";try {// 保存sql后缀StringBuffer suffix = new StringBuffer();// 设置事务为非自动提交conn.setAutoCommit(false);// 比起st，pst会更好些PreparedStatement pst = (PreparedStatement) conn.prepareStatement(" ");//准备执行语句// 外层循环，总提交事务次数for (int i = 1; i <= 10; i++) {suffix = new StringBuffer();// 第j次提交步长for (int j = 1; j <= 100000; j++) {String id = UUID.randomUUID().toString().replaceAll("-","");// 构建SQL后缀suffix.append("('" + id + "','" + i * j + "','123456'" + ",'男'" + ",'教师'" + ",'www.bbk.com'" + ",'XX大学'" + ",'" + "2016-08-12 14:43:26" + "','备注'" + "),");}// 构建完整SQLString sql = prefix + suffix.substring(0, suffix.length() - 1);// 添加执行SQLpst.addBatch(sql);// 执行操作pst.executeBatch();// 提交事务conn.commit();// 清空上一次添加的数据suffix = new StringBuffer();}// 头等连接pst.close();conn.close();} catch (SQLException e) {e.printStackTrace();}// 结束时间Long end = new Date().getTime();// 耗时System.out.println("1000万条数据插入花费时间 : " + (end - begin) / 1000 + " s");System.out.println("插入完成");}}

参考文章：https://www.cnblogs.com/fanwencong/p/5765136.html

向数据库中插入千万级数据相关推荐

mysql十万条数据_2秒内向数据库中插入十万条数据？
怎么向数据库中快速插入十万条数据呢,当然得需要对比才能看到效果,今天给大家亲身测了两种方法对比,差别25倍左右 1,数据库用sql server 2008 r2,表结构非常简单,四个字段,建数据表的s ...
Oracle数据库中插入日期型数据
如果插入Oracle的当前系统时间可以用 SYSDATE INSERT INTO FLOOR VALUES ( SYSDATE ) ; 往Oracle数据库中插入日期型数据(to_date的用法) 今 ...
向数据库中批量插入千万级数据
向一个MySQL数据库中插入大量数据. 数据库可以自己创建,也可以向一个存在的数据库中插入数据代码如下 package test;import java.io.*; import java.net. ...
Java程序向MySql数据库中插入的中文数据变成了问号
找到mysql的安装目录,修改my.ini文件 (1)如何找到my.ini文件如果my.ini文件不在MySQL的安装目录下,可能放在隐藏目录,要先去找到ProgramData,(这里要先打开显示隐 ...
JDBC向数据库中插入BLOB类型数据
目录 1.Blob介绍 2.使用PreparedStatement向数据表中插入Blob类型字段 3.从数据表中读取Blob类型数据 4.特殊情况说明 1.Blob介绍 Blob是一种二进制数据文件, ...
Mysql数据库快速插入亿级数据
Mysql数据库快速插入亿级数据接手一个项目,该项目运行了两三年了.接手的时候,只有一个部署文档和全部代码,再没有其他文档了,也没有其他任何人了解这个项目.好吧,试着深入了解吧.代码在测试环境跑来了 ...
java向Oracle数据库中插入blob字段数据
java不能直接想插入其他普通类型数据一样插入blob字段数据,因为blob相当于一个大文件块,里面有游标,需要初始化blob游标才能插入数据.所以我们要先插入一个空的blob数据,以初始化游标,然后 ...
向SQL Server数据库中插入日期型数据
数据库中字段类型是:datetime 1.采用java.util.Date类 import java.sql.Connection; import java.util.Date; import jav ...
Mysql数据库中制作千万级测试表
前言: 为了方便测试性能.分表等工作,就需要先建立一张比较大的数据表.我这里准备先建一张千万记录用户表. 步骤: 1 创建数据表(MYISAM方式存储插入速度比innodb方式快很多) 数据表描述数 ...

向数据库中插入千万级数据

1. 数据库环境

1.1 MySQL版本

1.2 数据表创建

1.3 更改MySQL数据库`max_allowed_packet`属性大小

2. 大数据量的生产

向数据库中插入千万级数据相关推荐

最新文章

热门文章

向数据库中插入千万级数据

1. 数据库环境

1.1 MySQL版本

1.2 数据表创建

1.3 更改MySQL数据库max_allowed_packet属性大小

2. 大数据量的生产

向数据库中插入千万级数据相关推荐

最新文章

热门文章

1.3 更改MySQL数据库`max_allowed_packet`属性大小