python储存数据分行_基于python实现对文件进行切分行

针对配置文件进行切分，重组，每隔30行为一段，进行重新生成功能。

代码如下

#!/usr/local/python/bin/python

# coding=utf-8

import sys

import re

import os

f = open('config.conf','r')

#判断文件条数

def file_num(filename):

num_col = 0

with open(filename,'rb') as fnum:

while(fnum.readline() !=''):

num_col = num_col + 1

return num_col

file_num = file_num('config.conf')

print '文件总条数：' + str(file_num)

i = 0 #设置计数器

while i < file_num : #表示文件行数

with open('/tmp/newfile/newfile'+str(i),'w') as f1:

for j in range(0,30) : #这里设置每个子文件的大小

if i <= file_num : #这里判断是否已结束，否则最后可能报错

f1.writelines(f.readline())

i = i+1

else:

break

filepath1='/tmp/newfile/'

def eachfile(filepath):

num = 1

pathdir = sorted(os.listdir(filepath))

for alldir in pathdir:

child = os.path.join('%s%s' % (filepath, alldir))

file_name = child.decode('gbk')

print file_name

with open('/tmp/check.py','a+') as f2:

fopen = open(file_name, 'r+')

f2.writelines("# config.py sql" + str(num) + " begin\n")

count=0

for line in fopen.readlines():

if count == 0:

f2.writelines(line)

count= count+1

else:

f2.writelines("union all " + line)

f2.writelines("# config.py sql" + str(num) + " end\n")

f2.writelines("\n")

num = num + 1

eachfile(filepath1)

脚本说明：

目录路径：/tmp

配置文件：config.conf

准备目录：/tmp/newfile/

最终新的配置文件为：check.py

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持萬仟网。

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！

python储存数据分行_基于python实现对文件进行切分行相关推荐

python交互式数据可视化_基于Python实现交互式数据可视化的工具，你用过几种？...
作者:Alark Joshi 翻译:陈雨琳来源:数据派THU(ID:DatapiTHU) 我教授了一门关于数据可视化的数据科学硕士课程.我们的数据科学硕士项目是一个为期15个月的强化项目,这个项目已 ...
python收集数据程序_基于Python语言的互联网数据收集软件的设计
软件建立所需的工具及其版本编写环境与 IDE Python3.5.2 Windows10 PyCharm 2016.3 Sublime Text3 第三方库与版本号 Requests 2.12.1 ...
用python做生物信息数据分析_基于Python的自动获取生物信息数据的软件设计
基于 Python 的自动获取生物信息数据的软件设计 * 周斯涵,刘月兰 ** [摘要] [摘要] 从国际生物信息学数据库中采集数据来进行相关领域的分析, 但随着数据库规模不断扩大 , 数据来源种 ...
python怎么爬取新浪微博数据中心_基于Python的新浪微博位置数据获取方法研究....
[1] 新浪微博数据中心.2017微博用户发展报告[EB/OL].[2017-12-25]. http://data.weibo.com/report/reportDetail?id=404. [2] ...
python数据采集系统_基于python的聚焦网络爬虫数据采集系统设计与实现
基于 python 的聚焦网络爬虫数据采集系统设计与实现杨国志 ; 江业峰 [期刊名称] < <科学技术创新> > [年 ( 卷 ), 期] 2018(000)027 [摘要 ...
python分行_基于python实现对文件进行切分行
针对配置文件进行切分,重组,每隔30行为一段,进行重新生成功能. 代码如下 #!/usr/local/python/bin/python # coding=utf-8 import sys impor ...
python大数据平台_基于腾讯位置大数据平台的全球移动定位数据Python爬取与清洗...
前不久投稿了一篇论文是以腾讯位置大数据为基础进行人口空间化研究的,但是还未见刊,见刊后会给大家分享下具体的研究方法. 首先打开腾讯位置大数据星云图链接:https://xingyun.map.qq.c ...
python人脸识别库_基于Python的face_recognition库实现人脸识别
Python Python开发 Python语言基于Python的face_recognition库实现人脸识别一.face_recognition库简介 face_recognition是Pyt ...
python多叉树遍历_基于Python的多叉树遍历算法
[ 综直厘翹 S 赛理 ) 信息记录材料 2019 年 5 月第 20 卷第 5 期基于 Python 的多叉树遍历算法钱雨波 , 王金祥 ( 指导老师 ) ( 延边大学吉林延边 1 3300 ...
python电影推荐算法_基于Python的电影推荐算法
原标题:基于Python的电影推荐算法第一步:收集和清洗数据数据链接:https://grouplens.org/datasets/movielens/ 下载文件:ml-latest-small ...

python储存数据分行_基于python实现对文件进行切分行

python储存数据分行_基于python实现对文件进行切分行相关推荐

最新文章

热门文章