php批量导入txt数据,基于PHP读取TXT文件向数据库导入海量数据的方法
搜索热词
有一个TXT文件,包含了10万条记录,格式如下:
列1 列2 列3 列4 列5
a 00003131 0 0 adductive#1 adducting#1 adducent#1
a 00003356 0 0 nascent#1
a 00003553 0 0 emerging#2 emergent#2
a 00003700 0.25 0 dissilient#1
……………………后面有10万条………………
需求是要导入数据库中,数据表的结构为
word_id 自动增量
word 【adductive#1 adducting#1 adducent#1】这一个TXT记录要转换为3个sql记录
value =第三列-第四列;如果=0,则此条记录略过不插入数据表
代码如下:
PHP
$file = 'words.txt';//10W条记录的TXT源文件
$lines = file_get_contents($file);
ini_set('memory_limit','-1');//不要限制Mem大小,否则会报错
$line=explode("\n",$lines);
$i=0;
$sql="INSERT INTO words_sentiment (word,senti_type,senti_value,word_type) VALUES "; foreach($line as $key =>$li)
{
$arr=explode("",$li);
$senti_value=$arr[2]-$arr[3];
if($senti_value!=0)
{
if($i>=20000&&$i<25000)//分批次导入,避免失败
{
$mm=explode(" ",$arr[4]);
foreach($mm as $m) //【adductive#1 adducting#1 adducent#1】这一个TXT记录要转换为3个sql记录 {
$nn=explode("#",$m);
$word=$nn[0];
$sql.="(\"$word\",1,$senti_value,2),";//这个地方要注意到是 word有可能包含单引号(如jack's),因此我们要用双引号来包含word(注意转义)
}
}
$i++;
}
}
//echo $i;
$sql=substr($sql,-1);//去掉最后一个逗号
//echo $sql;
file_put_contents('20000-25000.txt',$sql); //批量导入数据库,5000条一次,大概需要40秒的样子;一次导入太多max_execution_time会不够,导致失败
?>
1,海量数据导入到时候,要注意PHP的一些限制,可以临时调整一下,否则会报错Allowed memory size of 33554432 bytes exhausted (tried to allocate 16 bytes)
2,PHP操作TXT文件
file_get_contents()
file_put_contents()
3,海量导入的时候,最好分批次导入,失败的几率小一些
4,海量导入之前,脚本一定要多次测试无误再使用,比如用100条数据来测试
5,导入之后,如果PHP的mem_limit还是不够的话,程序仍然跑不起来
(建议用修改PHP.ini的方式来提高mem_limit,而不是用临时的语句)
总结
如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
php批量导入txt数据,基于PHP读取TXT文件向数据库导入海量数据的方法相关推荐
- python提取txt数据到excel_python 读取txt中每行数据,并且保存到excel中的实例
使用xlwt读取txt文件内容,并且写入到excel中,代码如下,已经加了注释. 代码简单,具体代码如下: # coding=utf-8 ''' main function:主要实现把txt中的每行数 ...
- 数据分片排序oracle,基于ORACLE数据库的海量数据脱敏方法与流程
本发明涉及一种数据脱敏方法,尤其涉及一种基于oracle数据库的海量数据脱敏方法. 背景技术: oracle数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管 ...
- Python读取.txt文档内容/读取text文件内容
Python读取.txt文档内容/读取text文件内容; 读取txt后缀文件的内容的两种方式,简约易懂,复制粘贴即可食用,节约你宝贵的时间 文档全部数据一次性读取 # -*- coding: UTF- ...
- Labview数据存储与读取——TDMS文件的创建与写入
Labview数据存储与读取--TDMS文件的创建与写入 你好,这是我在自学Labview编写软件过程中使用的一些功能.我在存储采集卡数据时,通过阅读大量他人的程序,发现TDM及TDMS文件十分适合波 ...
- Vue导入TradingView(无charting_library.min.js文件的包导入方法)
Vue导入TradingView(无charting_library.min.js文件的包导入方法) 你申请到的包很可能不是有charting_library.min.js文件的那个版本,而是char ...
- 【FPGA仿真】Matlab生成二进制、十六进制的txt数据以及Vivado读取二进制、十六进制数据并将结果以txt格式保存
Matlab 生成二进制.十六进制数据 在使用Vivado软件进行Verilog程序仿真时可能需要对模块输入仿真的数据,因此我们需要一个产生数据的方法(二进制或者十六进制的数据),Matlab软件是一 ...
- excel导入matlab NaN,Matlab GUI 读取excel文件数据时,出现NaN的问题
Matlab GUI 读取excel文件数据时,经常会用到如下一段代码,本人有两处不甚明白,请前辈解惑. 源代码 [num,text,raw]=xlsread('123.xls'); for i=1: ...
- python读取sav文件_Python如何导入Spss的sav类型的数据
因工作需要此前接触了大量sav格式数据,现转用python,想使用以前的数据进行测试, 直接用python读入sav文件,作者尝试了很多方法,均不理想. 目前能找到的最好的方法是: 先使用Spss将s ...
- python读取中文txt文本-Python3 解决读取中文文件txt编码的问题
问题描述 尝试用Python写一个Wordcloud的时候,出现了编码问题. 照着网上某些博客的说法添添改改后,结果是变成了"UnicodeDecodeError: "utf-8' ...
最新文章
- MySQL库目录下db.opt文件的作用
- [LeetCode-JAVA] Reverse Nodes in k-Group
- Numpy练习题100题-提高你的数据分析技能
- 深入了解Java之虚拟机内存
- 需要友元的原因及使用
- CentOS7下安装JDK1.8过程记录
- 吃着火锅唱着歌,却被操作系统砸了饭碗,开发者如何反击?
- 股票交易接口的开发工具?
- 微信公众号页面中监听手机“返回”,并回到公众号里
- 什么是3D打印?3D打印技术?
- paddleHub(一)使用预训练模型推理
- SPSS多元线性回归结果分析
- Outlook Connector用途
- 泌尿系统CT成像-常识
- 植物大战僵尸(Plants vs. Zombies)Mac版本
- 如何一键删除计算机的更新,快速清除win7系统更新缓存文件的详细步骤
- dy火山设备id注册激活
- 孔子最得意的弟子颜回不幸英年早逝
- 凝思mysql服务器搭建_凝思8安装mysql8.0.21安装记录 及问题处理
- 启动优化·基础论·浅析 Android 启动优化
热门文章
- python pil是什么_python图像处理库PIL的基本概念介绍
- python mysqldb insert_Python MySQLdb.insert方法代码示例
- 听计算机课评语与建议,听课评语及建议
- 几种未来人工智能的应用领域
- 2017lol服务器维修时间,lol2017年4月1日更新到几点?lol4.1更新时间一览
- CreateEvent() SetEvent() ResetEvent() 进程互斥
- c语言文件结尾错误,【讨论】c语言判断文件结尾问题的刨根问底
- C++经典案例水仙花数
- Python爬虫入门教程 9-100 河北阳光理政投诉板块 1
- 安卓逆向Xposed HOOK TB直播APP的x-sign参数(二)