刚开始的时候 跑6个进程 老是爆这个错误 然后程序蹦盘

数据库连接错误由于系统缓冲区空间不足或队列已满，不能执行套接字上的操作

英文原文

Understanding the error “An operation on a socket could not be performed because the system lacked sufficient buffer space or because a queue was full.”

为此我检查了下

内存 还剩4G 绝对够用

磁盘 C 盘10G E 2.5 应该够用

所以我怀疑是队列的问题

为了减少同一时间 的连接数 除Mysql 外Redis 同时也要进行读写操作 占用一定的链接数

我把校验SKU 的KEY 的索引去掉了

然后数据越多查询越慢 同时占用系统的连接数也少

然后 6 个进程 成功的开启 Mysql 每秒基本保存在 24×6 的执行速度

/**

* import product test

* win redis mysq php

* weicot.com 1050653098@qqcom

*/

这三个进程在加索引后挂掉 开始时间 2017-07-06 13:28:21 这三个进程数据是估计的 挂掉之前没记录数据

进程1 读取查询最少 109188 次 2017-07-06 14:52:13 54594 个产品 有效产品

进程2 读取查询最少 115020 次 2017-07-06 14:52:13 57504 个产品 有效产品

进程3 读取查询最少 146236 次 2017-07-06 14:52:13 73118 个产品 有效产品

有效产品(指的是拥有为一SKU的不重复产品)

合计 操作 185216 产品 预计读写 370444 次 合计1.2 个小时

在加索引之前已经跑玩的

进程4

查询次数 以及 合计过滤产品 50461

插入次数 以及 Redis 操作次数 43904

以纯在的产品 6557

合计对数据库操作94365

开始时间 2017-07-06 13:28:04

结束时间 2017-07-06 14:47:14

耗时开始标记:1499323634结束标记:1499318884

进程5

查询次数 以及 合计过滤产品 48239

插入次数 以及 Redis 操作次数 41270

以纯在的产品 6969

合计对数据库操作89509

开始时间 2017-07-06 13:28:10

结束时间 2017-07-06 14:32:42

耗时开始标记:1499322762结束标记:1499318890

进程6

查询次数 以及 合计过滤产品 31016

插入次数 以及 Redis 操作次数 21590

以纯在的产品 9426

合计对数据库操作52606

开始时间 2017-07-06 13:28:21

结束时间 2017-07-06 14:03:52

耗时开始标记:1499321032结束标记:1499318901

此阶段(多进程阶段)合计 数据库操作 592625 次

过滤产品数据 31.4932万(314932)个 导入的有效产品29.1980万(291980)个

多进程时间区间 1.2个小时

BEG 2017-07-06 13:28:04 END 2017-07-06 14:52:13

Mysql 每秒约处理144 条

加完索引后 重新跑挂掉的进程 只跑一个进程

进程一任务

查询次数 以及 合计过滤产品 66076

插入次数 以及 Redis 操作次数 11482

以纯在的产品 54594

合计对数据库操作77558

开始时间 2017-07-06 15:11:44

结束时间 2017-07-06 15:15:28

耗时开始标记:1499325328结束标记:1499325104

进程二 任务

查询次数 以及 合计过滤产品 73002

插入次数 以及 Redis 操作次数 15498

以纯在的产品 57504

合计对数据库操作88500

开始时间 2017-07-06 14:53:46

结束时间 2017-07-06 14:59:47

耗时开始标记:1499324387结束标记:1499324026

进程三的任务

............................................

插入次数 以及 Redis 操作次数 25

以纯在的产品 73118

合计对数据库操作73168

开始时间 2017-07-06 15:22:47

结束时间 2017-07-06 15:27:43

耗时开始标记:1499326063结束标记:1499325767