php 如何将100w级的数据入库。

场景：生成100w用户的测试数据。

首先是生成用户数据。将100w用户数据插入数据库。

这里一般有两种做法：
一是：批量插入。但是这种会有问题，写程序测试的时候，发现不了。因为5k数据好像都可以批量插入的。但是当数据量非常大，比如10w，100w时，就会发现。内存不够用了。

二是：分批插入（比如，2k条一次，因为单条插入速度太慢了），一般phper 在测试时，都是通过浏览器访问方法，从而执行程序。但是如果插入时间过长，浏览器接收不到服务器的回馈信息，他就直接报504错误(超时)，同时程序停止运行。

在这种情况下，可以用CLI的方式用脚本执行php，即可完美解决。

下面是CI 框架的运行方式，相信其他框架也应该可以。

php 如何将100w级的数据入库。相关推荐

线程导入大数据入库_大数据处理及分析该怎么做？用这款数据分析软件轻松搞定...
对大数据的重视让很多企业都在纷纷寻找更好的大数据处理及分析方法?这款数据分析软件轻松搞定! 一.数据采集虽然每天互联网都会产生大量的数据,对于企业来讲,要搜集对自己企业有用的数据才是真的大数据.首 ...
java百万级大数据量导出
java实现百万级大数据量导出实现方式一一,分析 excel导出如果数据量过大,会出现两个内存溢出的问题查绚数据量过大,导致内存溢出(可通过分批查绚解决) 下载的时候大EXCEL转换的输出流内存 ...
Netty聊天室（2）：从0开始实战100w级流量应用
目录客户端 Client 登录和响应处理写在前面客户端的会话管理客户端的逻辑构成连接服务器与Session 的创建 Session和 channel 相互绑定 AttributeMap接口的 ...
Netty聊天程序（2）：从0开始实战100w级流量应用 - 图解Netty系列
客户端 Client 登录和响应处理疯狂创客圈 Java 分布式聊天室[ 亿级流量]实战系列之 17[ 博客园总入口 ] 文章目录客户端 Client 登录和响应处理写在前面客户端的会话管理 ...
java之CSV大批量数据入库
CSV数据的入库需求前期准备环境代码展示 pom文件关键代码及思路多线程处理数据,否则8k万数据太慢了获取文件数据根据文件名创建相应数据库关键的SQL语句 saveOrUpdateB ...
农村土地确权之数据入库 —— 苍穹软件数据入库说明
想要获取更多关于土地确权的专业知识,可加入土地确权专业交流群(256956756). 1. 四个信息表的数据整理 (1)发包方信息表 Ø 发包方编码(14位)及发包方名称:严格按照<一标段发包 ...
每日生产万亿消息数据入库，腾讯如何突破大数据分析架构瓶颈
背景介绍对于腾讯庞大的大数据分析业务,几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 IMEI 手机设备去重,并关联数千亿的历史全表,进行曝光.点击 ...
php导出1万条数据excel_实用！用PHP导出百万级大数据到Excel
实用!用PHP导出百万级大数据到Excel 作者:PHPYuan 时间:2018-07-31 03:41:41 关注我们的人月薪都过万了一.数据量分析假设我们需要单日导入的数量为20W+ Exc ...
女友问粉丝过万如何庆祝，我发万字长文《保姆级大数据入门篇》感恩粉丝们支持，学姐|学妹|学弟|小白看了就懂
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录粉丝破万了新星计划申 ...
mysql 客户无感知迁移_亿级账户数据迁移，不用数据库工具还能怎么搞？
原标题:亿级账户数据迁移,不用数据库工具还能怎么搞? 背景在阿里巴巴内部"大中台,小前台"的组织和业务体制,使前线业务更加敏捷,赋能业务积极迎接未来挑战和机遇,在阿里大中台能力建 ...

php 如何将100w级的数据入库。

场景：生成100w用户的测试数据。

php 如何将100w级的数据入库。相关推荐

最新文章

热门文章