目前我这么写:

/**

* Created by IntelliJ IDEA.

* User: felix

* Date: 2019-03-01

* Time: 18:49

*/

set_time_limit(0);

$servername = 'localhost';

$username = '';

$password = '';

$dbname = '';

$i = 57007;

$bingTime = microtime(true);

echo 'bing ' . $bingTime . ' s' . PHP_EOL;

while (9690183 > $i) {

$i++;

A:

// 创建连接

$conn = new mysqli($servername, $username, $password, $dbname);

/* check connection */

if ($conn->connect_errno) {

printf("Connect failed: %s\n", $conn->connect_error);

sleep(3);

goto A;

}

$pySql = "select count(*) as sum from wzjs_product_journal_21_6 where product_journal_id = {$i}";

$result = $conn->query($pySql);

if ($result === false) {

printf("Invalid query: %s\nWhole query: %s\n", $conn->error, $pySql);

}

if ($result->fetch_assoc()['sum'] == 0) {

$pySql = "INSERT INTO wzjs_product_journal_21_6 SELECT * FROM wzjs_product_journal_21 WHERE product_journal_id = {$i}";

$result = $conn->query($pySql);

if ($result === false) {

printf("Invalid query: %s\nWhole query: %s\n", $conn->error, $pySql);

}

}

usleep(5);

$conn->close();

usleep(5);

}

$endTime = microtime(true);

echo ' end ' . $endTime . ' s' . PHP_EOL;

$diffTime = $endTime - $bingTime;

echo 'Diff Time ' . $diffTime . ' s' . PHP_EOL;

echo 'i:' . $i . "\n";

根据主键一条一条复制。我有 9690183 多条数据需要迁移,因为之前的表加不上索引了……

不过不知为啥,经常出

PHP Warning: mysqli::mysqli(): (HY000/2002): No such file or directory in /data/wwwroot/www.scienceport.cn/copy_2.php on line 24

上面的 goto 就是打算解决这个问题。目前正在测试。

之所以先查询后复制是之前老是自己就停了。而且现在也这样,连接着 shell 才会执行的比较久, 用的阿里云,关掉 shell 没多久就自己停了。就是必须看着它,要不然就自己跑不见了……

这样运行的

php copy.php > copy.log &

在写这个的时候,又打印log了,不过这个程序挺过去了……

2019年03月04日

这个也不可靠,有100多万条不知道为啥没过去……正在寻找故障原因。

No such file or directory 貌似是阿里云出故障了,反正今天有新闻。

2019年03月11日

发现写入数据不等会有的情况索引是不会加上的,而且还丢东西。现在都能复制走了。

mysql导入600万数据_mysql如何导出600万条记录的数据表?相关推荐

  1. MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据

    MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据 目录导航: 开发背景: 实战: 表结构如下图所示: 操作: 总结: 回到顶部 开发背景: 最近在做一个批量数据导入到MySQL数据 ...

  2. mysql数据库中查询第几条到第几条数据_在 mysql 数据库中,从查询结果的第四条记录开始选取5条记录,下面 sql 语句正确的是( )...

    [单选题]同一种货物,在同一线路上或平行线路上作相对方向的运送,而与对方运程的全部或一部分发生重迭交错的运输被称为( ). [多选题]水闸一般由()三部分组成 [单选题]在一个常规的统计表内,非必需包 ...

  3. mysql 软件导出导入数据_MySQL 之 导出导入数据

    mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u root -p --databases db_name > test_db.sql       ...

  4. mysql无法初始化数据库引擎_mysql使用模板解决旧数据处理,默认初始化数据的通用方法!...

    一 业务介绍 先来看看我这得大致业务需求,这次业务比较简单: 即从现在开始,每次new一个爷爷都需要默认初始化给这个爷爷三个儿子(子表,爷爷id去关联),并在初始化每个儿子的同时再给每个儿子初始化若干 ...

  5. mysql 回滚删除操作_Mysql如何快速回滚被删除的数据

    在数据库操作中,难免会因为各种各样的原因对数据造成损坏,这个时候就需要对数据库快速恢复.传统的方法会先恢复mysql备份,再去用mysqlbinlog抽取指定时间点的日志,再恢复,这样的操作比较耗时, ...

  6. mysql 查询相同字段的数据_MySql 几种查询相同字段中相同数据,及删除相同字段的相同数据的方法...

    比如现在有一人员表  (表名:peosons) 若想将姓名.身份证号.住址这三个字段完全相同的记录查询出来 select   p1.*   from   persons   p1,persons   ...

  7. mysql 造1亿条记录的单表--大数据表

    读写文件 背景及木:现有数据1000w单表,为压力测试准备1亿条数据. 步骤: 1.将1000w条记录,除id外都导入到多个文件中: //DELIMITER DROP PROCEDURE if EXI ...

  8. mysql随机查询多条记录表_MySQL 随机查询表中N条记录

    mysql 随机查询N条记录 method 1 : SELECT * FROM tablename ORDER BY RAND() LIMIT N; method 2 : SELECT * FROM ...

  9. asscess 一条记录更新数据_一条MySQL更新语句是怎么执行的?

    流程图 这是在网上找到的一张流程图,写的比较好,大家可以先看图,然后看详细阅读下面的各个步骤. 执行流程: 1.连接验证及解析 客户端与MySQL Server建立连接,发送语句给MySQL Serv ...

最新文章

  1. c语言 中insert变量值,c – 在VS2010中的vector :: insert执行意外结果
  2. 第二讲、Linux的系统安装
  3. 【微机原理与接口技术】具体芯片(1)并行接口8255A(1):全局观
  4. Android应用程序管理系列(二)——PackageManager 包管理者
  5. 线程间通信 1全局变量2当前主对话框指针3发消息方式4 AfxBeginThread的返回值(为CWinThread类型的指针)5AfxGetApp...
  6. 正经程序员是怎么完美度过元旦假期的?
  7. 新浪第一时间视频直播全球火炬接力
  8. angelajs中ajax,Fabric.js Triangle angle属性用法及代码示例
  9. Visual Studio中的项目属性--生成--配置
  10. Ubuntu系统安装 - 单系统
  11. COGS 2507 零食店
  12. 北京的互联网公司有哪些?
  13. 为什么选择高防DNS云解析?(二)
  14. 阿里云服务器ECS搭建后台(Windows Server 2012R2)
  15. PY-NumPy | 蓝色妖姬
  16. ROS2机器人笔记20-11-29
  17. XPC connection invalid(ios蓝牙)
  18. 给大家分享一个好的短信接口.
  19. SMBIOS 学习内容
  20. Linux启动流程介绍

热门文章

  1. keras中conv2d,conv2dTranspose的Padding详细介绍
  2. ng-template、ng-container、ng-content和ngTemplateOutlet、ngProjectAs傻傻分不清!他们究竟是干啥的???
  3. [Java in NetBeans] Lesson 01. Java Programming Basics
  4. Minimum Path Sum
  5. Oracle中的MERGE语句
  6. WinRM设置信任主机
  7. Facebook的实时Hadoop系统
  8. PHP“Cannot use object of type stdClass as array”
  9. 服务器集群负载均衡(F5,LVS,DNS,CDN)区别以及选型
  10. 利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配