mysql批量添加报错_技术分享 | MySQL 在批量插入时捕捉错误信息
原创： 杨涛涛
背景
本篇文章来源于今天客户问的一个问题。
问题大概意思是：我正在从 Oracle 迁移到 MySQL，数据已经转换为单纯的 INSERT 语句。由于语句很多，每次导入的时候不知道怎么定位到错误的语句。 如果 INSERT 语句少也就罢了，我可以手工看，不过 INSERT 语句很多，我怎么定位到是哪些语句出错了，我好改正呢？总不能每次遇到的错误的时候改一下，再重新运行继续改正吧？有没有简单点的方法。
其实 MySQL 自身就有错误诊断区域，如果能好好利用，则事半功倍。
演示
下面我来简单说下怎么使用错误诊断区域。
比如说我要插入的表结构为 n3，保存错误信息的日志表为 error_log 两个表结构如下：
-- tables definition.
[ytt]>create table n3 (id int not null, id2 int generated always as ((mod(id,10))));
Query OK, 0 rows affected (0.04 sec)
[ytt]>create table error_log (sqltext text, error_no int unsigned, error_message text);
Query OK, 0 rows affected (0.04 sec)
假设插入的语句，为了演示，我这里仅仅简单写了 8 条语句。
-- statements body.
set @a1 = "INSERT INTO n3 (id) VALUES(100)";
set @a2 = "INSERT INTO n3 (id) VALUES('test')";
set @a3 = "INSERT INTO n3 (id) VALUES('test123')";
set @a4 = "INSERT INTO n3 (id) VALUES('123test')";
set @a5 = "INSERT INTO n3 (id) VALUES(200)";
set @a6 = "INSERT INTO n3 (id) VALUES(500)";
set @a7 = "INSERT INTO n3 (id) VALUES(null)";
set @a8 = "INSERT INTO n3 (id) VALUES(10000000000000)";
MySQL 的错误代码很多，不过总体归为三类：sqlwarning SQLSTATE 代码开始为 '01'
not found SQLSTATE 代码开始为 '02'
sqlexception SQLSTATE 代码开始非 '00','01','02' 的所有错误代码。
为了简单方便，我们写这些代码到存储过程里。以下为示例存储过程。
-- stored routines body.
drop procedure if exists sp_insert_simple;
delimiter ||
create procedure sp_insert_simple()
l1:begin
DECLARE i,j TINYINT DEFAULT 1; -- loop counter.
DECLARE v_errcount,v_errno INT DEFAULT 0; -- error count and error number.
DECLARE v_msg TEXT; -- error details.
declare v_sql json; -- store statements list.
declare v_sql_keys varchar(100); -- array index.
declare v_sql_length int unsigned; -- array length.
-- Handler declare.
DECLARE CONTINUE HANDLER FOR SQLEXCEPTION,SQLWARNING,NOT FOUND -- exception in mysql routines.
l2:BEGIN
get stacked diagnostics v_errcount = number;
set j = 1;
WHILE j <= v_errcount
do
GET stacked DIAGNOSTICS CONDITION j v_errno = MYSQL_ERRNO, v_msg = MESSAGE_TEXT;
-- record error messages into table.
INSERT INTO error_log(sqltext,error_no,error_message) VALUES (@sqltext, v_errno,v_msg);
SET j = j + 1;
END WHILE;
end;
-- sample statements array.
set v_sql = '{
"a1": "INSERT INTO n3 (id) VALUES(100)",
"a2": "INSERT INTO n3 (id) VALUES(''test'')",
"a3": "INSERT INTO n3 (id) VALUES(''test123'')",
"a4": "INSERT INTO n3 (id) VALUES(''123test'')",
"a5": "INSERT INTO n3 (id) VALUES(200)",
"a6": "INSERT INTO n3 (id) VALUES(500)",
"a7": "INSERT INTO n3 (id) VALUES(null)",
"a8": "INSERT INTO n3 (id) VALUES(10000000000000)"
}';
set i = 1;
set v_sql_length = json_length(v_sql);
while i <=v_sql_length do
set v_sql_keys = concat('$.a',i);
set @sqltext = replace(json_extract(v_sql,v_sql_keys),'"','');
prepare s1 from @sqltext;
execute s1;
set i = i + 1;
end while;
drop prepare s1;
-- invoke procedure.
-- call sp_insert_simple;
end;
||
delimiter ;
我们来调用这个存储过程看下结果。
[(none)]>use ytt
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
[ytt]>call sp_insert_simple;
Query OK, 0 rows affected (0.05 sec)
表N3的结果。
[ytt]>select * from n3;
+-----+------+
| id | id2 |
+-----+------+
| 100 | 0 |
| 200 | 0 |
| 500 | 0 |
+-----+------+
3 rows in set (0.00 sec)
错误日志记录了所有错误的语句。
[ytt]>select * from error_log;
+--------------------------------------------+----------+-------------------------------------------------------------+
| sqltext | error_no | error_message |
+--------------------------------------------+----------+-------------------------------------------------------------+
| INSERT INTO n3 (id) VALUES('test') | 1366 | Incorrect integer value: 'test' for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES('test123') | 1366 | Incorrect integer value: 'test123' for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES('123test') | 1265 | Data truncated for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES(null) | 1048 | Column 'id' cannot be null |
| INSERT INTO n3 (id) VALUES(10000000000000) | 1264 | Out of range value for column 'id' at row 1 |
+--------------------------------------------+----------+-------------------------------------------------------------+
5 rows in set (0.00 sec)
其实这个问题如果用 Python 或 PHP 等外部语言来说，将会更简单，思路差不多。原创： 杨涛涛 爱可生开源社区 昨天
背景
本篇文章来源于今天客户问的一个问题。
问题大概意思是：我正在从 Oracle 迁移到 MySQL，数据已经转换为单纯的 INSERT 语句。由于语句很多，每次导入的时候不知道怎么定位到错误的语句。 如果 INSERT 语句少也就罢了，我可以手工看，不过 INSERT 语句很多，我怎么定位到是哪些语句出错了，我好改正呢？总不能每次遇到的错误的时候改一下，再重新运行继续改正吧？有没有简单点的方法。
其实 MySQL 自身就有错误诊断区域，如果能好好利用，则事半功倍。
演示
下面我来简单说下怎么使用错误诊断区域。
比如说我要插入的表结构为 n3，保存错误信息的日志表为 error_log 两个表结构如下：
-- tables definition.
[ytt]>create table n3 (id int not null, id2 int generated always as ((mod(id,10))));
Query OK, 0 rows affected (0.04 sec)
[ytt]>create table error_log (sqltext text, error_no int unsigned, error_message text);
Query OK, 0 rows affected (0.04 sec)
假设插入的语句，为了演示，我这里仅仅简单写了 8 条语句。
-- statements body.
set @a1 = "INSERT INTO n3 (id) VALUES(100)";
set @a2 = "INSERT INTO n3 (id) VALUES('test')";
set @a3 = "INSERT INTO n3 (id) VALUES('test123')";
set @a4 = "INSERT INTO n3 (id) VALUES('123test')";
set @a5 = "INSERT INTO n3 (id) VALUES(200)";
set @a6 = "INSERT INTO n3 (id) VALUES(500)";
set @a7 = "INSERT INTO n3 (id) VALUES(null)";
set @a8 = "INSERT INTO n3 (id) VALUES(10000000000000)";
MySQL 的错误代码很多，不过总体归为三类：sqlwarning SQLSTATE 代码开始为 '01'
not found SQLSTATE 代码开始为 '02'
sqlexception SQLSTATE 代码开始非 '00','01','02' 的所有错误代码。
为了简单方便，我们写这些代码到存储过程里。以下为示例存储过程。
-- stored routines body.
drop procedure if exists sp_insert_simple;
delimiter ||
create procedure sp_insert_simple()
l1:begin
DECLARE i,j TINYINT DEFAULT 1; -- loop counter.
DECLARE v_errcount,v_errno INT DEFAULT 0; -- error count and error number.
DECLARE v_msg TEXT; -- error details.
declare v_sql json; -- store statements list.
declare v_sql_keys varchar(100); -- array index.
declare v_sql_length int unsigned; -- array length.
-- Handler declare.
DECLARE CONTINUE HANDLER FOR SQLEXCEPTION,SQLWARNING,NOT FOUND -- exception in mysql routines.
l2:BEGIN
get stacked diagnostics v_errcount = number;
set j = 1;
WHILE j <= v_errcount
do
GET stacked DIAGNOSTICS CONDITION j v_errno = MYSQL_ERRNO, v_msg = MESSAGE_TEXT;
-- record error messages into table.
INSERT INTO error_log(sqltext,error_no,error_message) VALUES (@sqltext, v_errno,v_msg);
SET j = j + 1;
END WHILE;
end;
-- sample statements array.
set v_sql = '{
"a1": "INSERT INTO n3 (id) VALUES(100)",
"a2": "INSERT INTO n3 (id) VALUES(''test'')",
"a3": "INSERT INTO n3 (id) VALUES(''test123'')",
"a4": "INSERT INTO n3 (id) VALUES(''123test'')",
"a5": "INSERT INTO n3 (id) VALUES(200)",
"a6": "INSERT INTO n3 (id) VALUES(500)",
"a7": "INSERT INTO n3 (id) VALUES(null)",
"a8": "INSERT INTO n3 (id) VALUES(10000000000000)"
}';
set i = 1;
set v_sql_length = json_length(v_sql);
while i <=v_sql_length do
set v_sql_keys = concat('$.a',i);
set @sqltext = replace(json_extract(v_sql,v_sql_keys),'"','');
prepare s1 from @sqltext;
execute s1;
set i = i + 1;
end while;
drop prepare s1;
-- invoke procedure.
-- call sp_insert_simple;
end;
||
delimiter ;
我们来调用这个存储过程看下结果。
[(none)]>use ytt
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
[ytt]>call sp_insert_simple;
Query OK, 0 rows affected (0.05 sec)
表N3的结果。
[ytt]>select * from n3;
+-----+------+
| id | id2 |
+-----+------+
| 100 | 0 |
| 200 | 0 |
| 500 | 0 |
+-----+------+
3 rows in set (0.00 sec)
错误日志记录了所有错误的语句。
[ytt]>select * from error_log;
+--------------------------------------------+----------+-------------------------------------------------------------+
| sqltext | error_no | error_message |
+--------------------------------------------+----------+-------------------------------------------------------------+
| INSERT INTO n3 (id) VALUES('test') | 1366 | Incorrect integer value: 'test' for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES('test123') | 1366 | Incorrect integer value: 'test123' for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES('123test') | 1265 | Data truncated for column 'id' at row 1 |
| INSERT INTO n3 (id) VALUES(null) | 1048 | Column 'id' cannot be null |
| INSERT INTO n3 (id) VALUES(10000000000000) | 1264 | Out of range value for column 'id' at row 1 |
+--------------------------------------------+----------+-------------------------------------------------------------+
5 rows in set (0.00 sec)
其实这个问题如果用 Python 或 PHP 等外部语言来说，将会更简单，思路差不多。
mysql批量添加报错_技术分享 | MySQL 在批量插入时捕捉错误信息相关推荐
- mysql优化说出九条_技术分享 | MySQL 优化：为什么 SQL 走索引还那么慢？
原标题:技术分享 | MySQL 优化:为什么 SQL 走索引还那么慢? 背景 2019-01-11 9:00-10:00 一个 MySQL 数据库把 CPU 打满了. 硬件配置:256G 内存,48 ...
- mysql 唯一性约束报错_怪异的MySQL Online DDL报错Duplicate entry
今天线上执行Online DDL的时候发现一个奇怪的报错,觉得比较意义,遂整理如下.线上数据库版本:percona server 5.7.14 报错现场:每次执行的时候重复报错记录都不一样 mysql ...
- mysql 走索引 很慢_技术分享 | MySQL优化：为什么SQL走索引还那么慢？
作者:胡呈清 背景 2019-01-11 9:00-10:00 一个 MySQL 数据库把 CPU 打满了. 硬件配置:256G 内存,48 core 分析过程 接手这个问题时现场已经不在了,信息有限 ...
- mysql 如何设置延迟启动_技术分享 | MySQL 网络延时参数设置建议
作者:毛思平 工作11年,从事数据库工作7年,主要在金融行业.主要是做oracle,mysql.现在在农行软开中心主要做数据库应用方面的研究. 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授 ...
- mysql ibdata1 报错_zabbix技术分享：处理ibdata1报错
刚安装完的mysql,发现报错,提示ibdata1大小与配置文件不一致. 而ibdata1是数据库的什么文件?又有什么作用呢? MySQL使用InnoDB引擎的时候,ibdata1是InnoDB的共有 ...
- mysql server安装报错_安装VtigerCRM报错：MySQL Server should be configured with
安装报错提示如下: MySQL Server should be configured with: sql_mode = ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREA ...
- 安装完MySQL后启动报错_MySQL数据库之mysql编译安装完成后，启动时报错The server quit without updating PID file...
本文主要向大家介绍了MySQL数据库之mysql编译安装完成后,启动时报错The server quit without updating PID file ,通过具体的内容向大家展现,希望对大家学习 ...
- mysql从节点报错_CentOS7.9 下 MySQL 之 PXC 集群部署【Docker+多机多节点】
背景 最近在进行 MySQL 集群搭建测试的研究中 对于业界主流方案自然不能跳过 在此,整理成完整的文章,希望道友能得到参考价值 - [注]:Percona XtraDB Cluster(简称 PXC ...
- onkeypress属性添加报错_亚马逊运营过程中listing常见报错及应对策略汇总
亚马逊运营过程中listing常见报错及应对策略汇总 做亚马逊的小哥哥小姐姐们还在为上传产品中的报错提示而抓狂吗?福利来了,总结了17个常见报错,供大家查阅 1.SKU XXXXX, Missing ...
最新文章
- python app模块_pythonWeb框架创建app模块以及虚拟环境管理工具
- thymeleaf引用图片_SpringBoot访问静态资源（图片、html）以及整合thymeleaf 注意点
- 碉堡了！3款html5 svg 动画神作
- 互联网1分钟 |1022
- python3安装opencv
- SAP Marketing cloud里的campaign管理
- Bug：No mapping for GET /onepill//swagger-ui.html
- Linux后台运行python程序并输出到日志文件
- 排序算法 - 快速排序（java）
- nodejs api 设计
- Office在线协作（三）- O2OA连接本地部署的OnlyOffice Docs Server服务器 For Windows Server
- 信道——通信原理笔记（二）
- EDA软件_Cadence_Allegro 16.6焊盘制作
- 神经管理学告诉你：学了管理学就能运筹帷幄吗？
- mysql不等于null和等于null的写法
- 计算机控制总端,楼宇计算机控制系统(DCS)
- RabbitMQ-客户端源码之ChannelN
- I-000 智能家居系列--需求梳理
- tinymce富文本语言切换的坑
- 韩国外交部:官网因萨德间歇性遭来自中国黑客攻击