python open方法下file模块_python-linecache模块读取文件用法
python-linecache模块读取文件用法详解
linecache模块允许从任何文件里得到任何的行,并且使用缓存进行优化,常见的情况是从单个文件读取多行。
1、linecache.getlines(filename)
从名为filename的文件中得到全部内容,输出为列表格式,以文件每行为列表中的一个元素,并以linenum-1为元素在列表中的位置存储
2、linecache.getline(filename,lineno)
从名为filename的文件中得到第lineno行。这个函数从不会抛出一个异常–产生错误时它将返回”(换行符将包含在找到的行里)。
如果文件没有找到,这个函数将会在sys.path搜索。
3、linecache.clearcache()
清除缓存。如果你不再需要先前从getline()中得到的行
4、linecache.checkcache(filename)
检查缓存的有效性。如果在缓存中的文件在硬盘上发生了变化,并且你需要更新版本,使用这个函数。如果省略filename,将检查缓存里的所有条目。
5、linecache.updatecache(filename)
更新文件名为filename的缓存。如果filename文件更新了,使用这个函数可以更新linecache.getlines(filename)返回的列表。
用法举例:
# cat a.txt
1a
2b
3c
4d
5e
6f
7g
(1)、获取a.txt文件的内容
>>> a=linecache.getlines('a.txt')
>>> a
['1a\n', '2b\n', '3c\n', '4d\n', '5e\n', '6f\n', '7g\n']
(2)、获取a.txt文件中第1-4行的内容
>>> a=linecache.getlines('a.txt')[0:4]
>>> a
['1a\n', '2b\n', '3c\n', '4d\n']
(3)、获取a.txt文件中第4行的内容
>>> a=linecache.getline('a.txt',4)
>>> a
'4d\n'
注意:使用linecache.getlines('a.txt')打开文件的内容之后,如果a.txt文件发生了改变,如你再次用linecache.getlines获取的内容,不是文件的最新内容,还是之前的内容,此时有两种方法:
1、使用linecache.checkcache(filename)来更新文件在硬盘上的缓存,然后在执行linecache.getlines('a.txt')就可以获取到a.txt的最新内容;
2、直接使用linecache.updatecache('a.txt'),即可获取最新的a.txt的最新内容
另:读取文件之后你不需要使用文件的缓存时需要在最后清理一下缓存,使linecache.clearcache()清理缓存,释放缓存。
这个模块是使用内存来缓存你的文件内容,所以需要耗费内存,打开文件的大小和打开速度和你的内存大小有关系。
自己测试的450M文件执行时间,还是open()方法快些,大于1G文件,使用linecache.getlines()方法更好,代码如下:
###使用linecache.getlines方法###
$cat read_file.py
#!/usr/bin/env python
#coding:utf8
import os,linecache,time
def get_content(file):
content=''
cache_data=linecache.getlines(file)
for line in range(len(cache_data)):
content+=cache_data[line]
return content
def main():
file='/opt/file_operate/ibdata1'
content=get_content(file)
print content
linecache.clearcache()
if __name__=='__main__':
starttime=time.clock()
main()
endtime=time.clock()
print "total time: %s" %(endtime-starttime)
###使用open()方法###
$cat read_file1.py
#!/usr/bin/env python
#coding:utf8
import time
def read_file(file):
fo=open(file,'r')
f=open('/opt/file_operate/c.txt','w')
for line in fo.readlines():
f.write(line)
fo.close()
f.close()
if __name__=='__main__':
starttime=time.clock()
read_file('/opt/file_operate/ibdata1')
endtime=time.clock()
print "total time: %s" %(endtime-starttime)
备注:借鉴伟哥的blog部分内容
python open方法下file模块_python-linecache模块读取文件用法相关推荐
- python读取一行的函数_Python linecache.getline()读取文件中特定一行的脚本
Python linecache.getline()读取文件中特定一行的脚本 比如: Code highlighting produced by Actipro CodeHighlighter (fr ...
- python open方法下file模块_python 文件操作
一.基本概述 基本的文件操作也就常见的几种,创建.打开.读取.写入和关闭文件等.Python中有几个内置模块和方法来处理文件.这些方法在例如os,os.path,shutil和pathlib等等几个模 ...
- python 读取文件到字典读取顺序_python顺序的读取文件夹下名称有序的文件方法...
python顺序的读取文件夹下名称有序的文件方法 如下所示: import os path="/home/test/" #待读取的文件夹 path_list=os.listdir( ...
- Python read()函数:按字节(字符)读取文件
Python read()函数:按字节(字符)读取文件 前一节中,介绍了如何通过 open() 函数打开一个文件.在其基础上,本节继续讲解如何读取已打开文件中的数据. Python 提供了如下 3 种 ...
- python如何自定义模块_python自定义模块和开源模块使用方法
模块,用一砣代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合.而对于一个复杂的功能来,可能需要多个函数才 ...
- python导入同一文件夹下的类_python自定义模块
模块的引入方式: 1.import 模块名:导入模块中的所有内容(引入多个用逗号分隔) import random,time 2.from 模块名 import 函数名1,函数名2... 导入部分模块 ...
- python导入自己写的函数_Python导入模块的几种方法
Python 模块 Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句. 模块让你能够有逻辑地组织你的 Python 代 ...
- python pp模块_python常用模块
1.re模块 re模块用于对python的正则表达式的操作 1.1 什么是正则 正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物 ...
- python中的模块_python的模块和包的详细说明
Python模块和包的详细说明 模块的导入 模块的加载与修改 模块和脚本的说明 模块搜索路径 包的导入 一.模块的导入 之前我们简单的使用了一下模块,并没有详细的介绍,现在我们来详细的说说 1.什么是 ...
最新文章
- 演讲实录丨吴朝晖院士:从AI到CI——脑机智能的发展
- 展望下一代语言:Fortress, Chapel or X10(转)
- 【Java Web后台实验与开发】The server time zone value ‘�й���ʱ��‘ is unrecognized or represents more than one
- 苹果系统里面 dictionary 如何加入中文词典
- 还不知道 Redis 分布式锁的背后原理?还不赶快学习一下
- OpenStack——基于EXSI安装OpenStack解决方案
- 看起来很美 VS. 是你来检阅我的忧伤了吗?
- Swift 学习手记1,pod 的 类库使用
- 东北大学c语言编程尸体,东北大学c语言编程试题及其答案
- DIY购车入门5步法则
- tomcat7 IP限制配置
- ubuntu上解决evolution邮箱附件为dat格式
- 【知识图谱系列】清华大学基于对比学习的图谱预训练模型GCC
- 天下码农苦外包公司久矣
- 无人驾驶带动激光雷达降价,考古学家“拖了千年的作业”有指望了
- 4.1.1 网络层的功能(路由选择与分组转发、异构网络互连、拥塞控制)
- 算术编码如何将原始数据编码为二进制
- linux宝塔面板打不开 ssh也连不上,SSH能访问,但是宝塔面板打不开,输入bt命令无任何反应!...
- python 十进制转二进制
- 小白篇--git基本操作