mysql插入百万级_百万级数据插入mysql
百万级数据插入
mysql版本:5.7
mysql配置: max_allowed_packet
查看max_allowed_packet
show VARIABLES like '%max_allowed_packet%'
设置大小
set global max_allowed_packet = 100*1024*1024
退出mysql,重新登录进去
show VARIABLES like '%max_allowed_packet%'
package cn.cgnb.epanda.bill.controller;
import cn.cgnb.common.utils.UUIDUtil;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Date;
import java.sql.PreparedStatement;
/**
* @Author xianxiong
* @Date 2020/6/29
*/
public class test1 {
public static void main(String[] args) throws ClassNotFoundException, SQLException {
final String url = "jdbc:mysql:loadbalance://xx.xx.xx.xx:13306/dev_epanda?roundRobinLoadBalance=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai";
final String name = "com.mysql.cj.jdbc.Driver";
final String user = "root";
final String password = "123456";
Connection conn = null;
Class.forName(name);//指定连接类型
conn = DriverManager.getConnection(url, user, password);//获取连接
if (conn != null) {
System.out.println("获取连接成功");
insert(conn);
} else {
System.out.println("获取连接失败");
}
}
public static void insert(Connection conn) {
// 开始时间
Long begin = new Date().getTime();
// sql前缀
String prefix = "INSERT INTO ep_owner_bill_detail(id, bill_id, bill_type, calc_date, community_id, unit_id, room_id, room_name, owner_name, rule_id, rule_name, start_value, end_value, price, rate, original_fee, actual_fee, start_date, end_date, car_number, payment_type, payment_date, ref_detail_id, delivery_id, comment, data_status, create_id, create_time, update_id, update_time) VALUES ";
try {
// 保存sql后缀
StringBuffer suffix = new StringBuffer();
// 设置事务为非自动提交
conn.setAutoCommit(false);
// 比起st,pst会更好些
PreparedStatement pst = (PreparedStatement) conn.prepareStatement(" ");//准备执行语句
// 外层循环,总提交事务次数
for (int i = 1; i <= 100; i++) {
suffix = new StringBuffer();
// 第j次提交步长
for (int j = 1; j <= 10000; j++) {
// 构建SQL后缀
long uuid = UUIDUtil.genSequenceUUID();
suffix.append("("+uuid+"," +"1111111" +","+"'"+"缴费"+"'"+","+"'"+"2020-11-30"+"'"+","+"388227987483869184"+","+"388227987483869184"+","+"388227987483869184"+ "," +"'"+ "6-1-201"+"'" + ","+"'"+"张强" + "'"+"," +"388227987483869184"+"," + "'"+"垃圾清洁费" + "'" +","+"null"+","+"null" +","+"6.0"+ ","+"1.0"+ ","+"6.0"+ ","+"6.0"+ ","+"'"+"2020-11-01"+ "'"+","+"'"+"2020-11-30"+"'"+ ","+"'"+"川A-9A876"+"'"+","+"'"+"支付宝"+"'"+","+"'"+"2020-11-30"+"'"+","+"388227987483869184"+","+"388227987483869184"+ ","+"'"+"2020-02-01~2020-02-29"+"'" + ","+"'"+"0"+"'"+","+"388227987483869184"+","+"'"+"2020-03-24 17:49:27"+"'"+","+"388227987483869184"+","+ "'"+"2020-03-24 17:49:27"+"'"+")"+",");
}
// 构建完整SQL
String sql = prefix + suffix.substring(0, suffix.length() - 1);
// 添加执行SQL
pst.addBatch(sql);
// 执行操作
pst.executeBatch();
// 提交事务
conn.commit();
// 清空上一次添加的数据
suffix = new StringBuffer();
}
// 头等连接
pst.close();
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
// 结束时间
Long end = new Date().getTime();
// 耗时
System.out.println("1000万条数据插入花费时间 : " + (end - begin) / 1000 + " s");
System.out.println("插入完成");
}
}
mysql插入百万级_百万级数据插入mysql相关推荐
- MySQL百万级、千万级数据多表关联SQL语句调优
本文不涉及复杂的底层数据结构,通过explain解释SQL,并根据可能出现的情况,来做具体的优化,使百万级.千万级数据表关联查询第一页结果能在2秒内完成(真实业务告警系统优化结果). 希望读者能够理解 ...
- mysql面试关联查询语句_MySQL百万级、千万级数据多表关联SQL语句调优
作者:成金之路 www.cnblogs.com/uttu/p/6384541.html 本文不涉及复杂的底层数据结构,通过explain解释SQL,并根据可能出现的情况,来做具体的优化,使百万级.千万 ...
- mysql百万数据join_MySQL百万级、千万级数据多表关联SQL语句调优
本文不涉及复杂的底层数据结构,通过explain解释SQL,并根据可能出现的情况,来做具体的优化,使百万级.千万级数据表关联查询第一页结果能在2秒内完成(真实业务告警系统优化结果). 希望读者能够理解 ...
- c语言连接数据库例子,c语言操作mysql数据库小例子_互帮互助(C language MySQL database operation example _ mutual help).doc...
这是精心收集的精品经典资料,值得下载保存阅读! c语言操作mysql数据库小例子_互帮互助(C language MySQL database operation example _ mutual h ...
- 一台mysql并发能力_mysql怎么支撑百万级并发-对于同一个表,MySQL支持多少个并发操作...
到服务器的SQL最大并发连接数为16384.mysql百万级数据查询. 受服务器配置和网络环境的限制,实际服务器支持的并发连接数量会更小. MySQL流量大,并发问题高 因为mysql是一个线程的连接 ...
- mysql insert into select大量数据插入比较慢_史上最全MySQL锁机制
本文主要记录学习MyISAM 和 InnoDB 这两个存储引擎. 为什么要学习锁机制 锁是计算机协调多个进程或线程并发访问某一资源的机制. 因为数据也是一种供许多用户共享的资源,如何保证数据并发访问的 ...
- mysql 锁 行级_全局锁、表级锁、行级锁mysql 极客评论笔记
根据加锁范围:MySQL里面的锁可以分为: 一.全局锁: 对整个数据库实例加锁. MySQL提供加全局读锁的方法:Flush tables with read lock(FTWRL) 这个命令可以使整 ...
- mysql 2003报错_为什么不建议在 MySQL 中使用 UTF-8?
正文 记得去年我在往MySQL存入emoji表情 时,一直出错,无法导入.后来找到办法 -- 通过把 utf8 改成 utf8mb4 就可以了,并没有深究. 一年后,我看到一篇文章讲到emoji文字占 ...
- mysql 存储引擎 面试_搞定PHP面试 - MySQL基础知识点整理 - 存储引擎
MySQL基础知识点整理 - 存储引擎 0. 查看 MySQL 支持的存储引擎 可以在 mysql 客户端中,使用 show engines; 命令可以查看MySQL支持的引擎: mysql> ...
最新文章
- layui 表格内容写temple函数_layui 表格内容显示更改
- oracle归档日志参数reopen=30,Oracle 归档日志 -- CSDN 比较全的说明文档
- 轮播图js怎么设置图片自适应大小
- html5元素拖动 (转载黑桐)
- 90后码农可以拯救互联网吗?
- 大数据互联网架构阶段 全文检索技术
- 样本修改 sample_如何在R中使用sample()获取样本?
- DNS服务的配置与管理(4) 配置其它类型的DNS记录
- Linux命令-用户和组管理
- 27.TCP/IP 详解卷1 --- FTP: 文件传输协议
- ASP.NET MVC扩展自定义视图引擎支持多模板动态换肤skins机制
- 优秀架构师是怎么炼成的?
- IP转发的最长前缀匹配
- DateTimeFormatter获取时间戳
- 测试方案包括哪些内容
- Tracking 1.3 Online Trackers
- Selenium WebDriver使用IE浏览器
- 46-动态编程语言(python)大作业-记忆翻牌游戏
- 你知道 biangbiang 面和编码有什么关系吗?万字长文,手拉手带你一步步认识编码
- QT quick中的登录界面(Rectangle,TextField文本框的使用)