python读取大文件-python读取大文件

python读取文件对各列进行索引可以用readlines，也可以用readline，如果是大文件一般就用readlined={}

a_in = open("testfile.txt", "r")

for line in a_in:

columnssplit = line.rstrip().split(" ")

d[columnssplit[0]]=columnssplit[1]

a_in.close()

ID_test = open("correlation.txt", "r")

for line in ID_test:

s = line.rstrip().split(" ")

if s[1] in d:

print s[0]+" "+d[s[1]]

ID_test.close()

## Here is another example

f = open("test.txt", "r")

while True:

line = f.readline()

if line: # 或者用 if line != "":

print line

else:

break

f.close()

python 还有一个pandas 主要用于大数据分析，它与matplotlib以及 numpy 结合可以替代R语言进行统计学分析, 获取dataframe的各行内容，可以用iterrows() 和 itertuples(), 其中 itertuples() 比 iterrows()速度更快。import pandas as pd

df1 = pd.read_csv("test.txt", header = None, sep=' ')

# 打印前三行

print df1[:3]

# 选取前三行的前三列，使用df.loc

df2 = df1.loc[:3, [0, 1, 2]]

print df2

# 替换第三列的部分内容

col3 = df2.apply(lambda r: r[2].replace("KH","TF"), axis=1)

# 合并第一列和替换后的第三列内容

df3 = pd.concat([df2[0], col3], axis = 1)

print df3

参考：

python读取大文件-python读取大文件相关推荐

python读取大文件-Python如何读取、拆分大文件
简述最近和第三方数据接触较多,数据量也开始陡增,从一开始的1KW行,最大到了1亿行,这让我这个常年处理"小数据'的人有点捉襟见肘.本来数据放在hive中也是可以操作的,但是有时候需求是做一 ...
python读取大文件-python如何读取大文件以及分析时的性能优化小技巧
在二代.三代测序背景下,分析人员难免会遇到解析超过1G.或者10G以上的文件.这里将给大家简单介绍下如何用python读取大文件,并给大家提两个优化代码的小建议. 首先,python 读取GB级大文件 ...
python读取文件-python读取大文件
最近在学习python的过程中接触到了python对文件的读取.python读取文件一般情况是利用open()函数以及read()函数来完成: f = open(filename,'r') f.rea ...
python 读取大文件_Python读取大文件
1. 前言前几天在做日志分析系统,需要处理几十G的文件,我尝试用原来的for line in open(filepath).readlines()处理,但停顿好久也没变化,可见占用不小的内存.在网上 ...
python读取视频占用内存太大_Python 读取大文件内存占用检测示例
导读热词对python这个高级语言感兴趣的小伙伴,下面一起跟随编程之家 jb51.cc的小编两巴掌来看看吧! python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录 ...
python读取.tsv文件例子（大文件处理）
本文介绍如何用python读取.tsv文件. 目录 1..tsv 文件介绍 2..tsv 文件读取 1..tsv 文件介绍 TSV(Tab-separated values)文件是一种文本文件格式,它 ...
python读取数据文件-python多种读写excel等数据文件的方式（收藏篇）
前言: python处理数据文件的途径有很多种,可以操作的文件类型主要包括文本文件(csv.txt.json等).excel文件.数据库文件.api等其他数据文件.下面小编整理下python到底有哪些 ...
python输出csv文件-Python之读取与写入CSV文件
原标题:Python之读取与写入CSV文件本文作者:闫续文文字编辑:张梦婷技术总编:张学人有问题,不要怕!访问 CSV(Comma-Separated Values)格式是电子表格和数据库最常 ...
python csv读取-Python对于CSV文件的读取与写入
今天天气"刚刚好"(薛之谦么么哒),无聊的我翻到了一篇关于csv文件读取与写入的帖子,作为测试小白的我一直对python情有独钟,顿时心血来潮,决定小搞他一下,分享给那些需要的小白 ...
python下载大文件-python 大文件
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 大文件上传服务一.前端(http:fex.baidu.comwebuploade ...

python读取大文件-python读取大文件

python读取大文件-python读取大文件相关推荐

最新文章

热门文章