下面是不同场景较为合适的数据读取方法:

1.python内置方法(read、readline、readlines)

纯文本格式或非格式化、非结构化的数据,常用语自然语言处理、非结构文本解析、应用正则表达式等后续应用场景下,Python默认的三种方法更为合适。
1.1 read() : 一次性读取整个文件内容。推荐使用read(size)方法,size越大运行时间越长

读取整个文件,将文件内容放到一个字符串变量中,如果文件大于可用内存,不能使用这种处理。

file_object = open("test.py",'r') #创建一个文件对象,也是一个可迭代对象
try:all_the_text = file_object.read()  #结果为str类型print (type(all_the_text))print ("all_the_text=",all_the_text)
finally:file_object.close()

1.2readline() :每次读取一行内容。内存不够时使用,一般不太用

readline()每次读取一行,比readlines()慢得多,返回的是一个字符串对象,保存当前行的内容

file_object1 = open("test.py",'r')
try:while True:line = file_object1.readline()if line:print ("line=",line)else:break
finally:file_object1.close()

1.3readlines() :一次性读取整个文件内容,并按行返回到list,方便我们遍历

file_object2 = open("test.py",'r')
try:lines = file_object2.readlines()print "type(lines)=",type(lines) #type(lines)= <type 'list'>for line in lines:print ("line=",line)
finally:file_object2.close()

2.numpy库

结构化、纯数值型的数据,并且主要用于矩阵计算、数据建模的,使用Numpy的loadtxt更方便。
对于二进制的数据处理,使用Numpy的load和fromfile方法更为合适。

Numpy库的学习_木白星枝的博客-CSDN博客

3.pandas库
对于结构化的、探索性数据统计和分析场景,使用pandas方法进行读取,因为其提供了数据框,对数据进行任意翻转、切片、关联都很方便。

Pandas库的学习_木白星枝的博客-CSDN博客

python读取文件的几种方式相关推荐

  1. python读取文件的三种方式_python中读取文件的f.seek()方法

    用于二进制文件中 F.seek方法 作用: 设置读写位置 F.seek(偏移量, whence=相对位置) 偏移量 大于0的数代表向文件末尾方向移动的字节数 小于0的数代表向文件头方向中移动的字节数 ...

  2. python数据对比找不同_利用Python读取文件的四种不同方法比对

    利用Python读取文件的四种不同方法比对 大家都知道Python 读文件的方式多种多样,但是当需要读取一个大文件的时候,不同的读取方式会有不一样的效果.下面就来看看详细的介绍吧. 场景 逐行读取一个 ...

  3. python 下载文件-Python下载文件的11种方式

    原标题:Python下载文件的11种方式 在本教程中,你将学习如何使用不同的Python模块从web下载文件.此外,你将下载常规文件.web页面.Amazon S3和其他资源. 最后,你将学习如何克服 ...

  4. C++ 读取文件的四种方式

    本文介绍C++ 读取文件的四种方式. 第一种方式: #include<iostream> #include<fstream> using namespace std;int m ...

  5. nodejs 逐行读取文件的两种方式

    nodejs 逐行读取文件的两种方式 通过readline的方式 const fs = require('fs'); const readline = require('readline');let ...

  6. Python读取/保存图片的3种方式(PIL、matplotlib、cv2)

    文章目录 Python读取/保存图片的3种方式 PIL方式 matplotlib方式 OpenCV方式 总结: Python读取/保存图片的3种方式 PIL方式 from PIL import Ima ...

  7. python读取图像的几种方式

    python读取图像的几种方式 本文介绍几种基于python的图像读取方式: 基于PIL库的图像读取.保存和显示 基于opencv-python的图像读取.保存和显示 基于matplotlib的图像读 ...

  8. Python读取文本的三种方式对比

    1.概述 Python有三种读取文本的方式,分别是: read() readline() readlines() 2.三种方式的优缺点分析 2.1 read() 最简单的一种方法,一次性读取文件的所有 ...

  9. python读文件的三种方式_Python|读、写Excel文件(三种模块三种方式)

    python读写excel的方式有很多,不同的模块在读写的讲法上稍有区别: 用xlrd和xlwt进行excel读写: 用openpyxl进行excel读写: import xlrd from xlut ...

最新文章

  1. android上下文关系,Android Context上下文的理解 Hua
  2. 《3ds Max疯狂设计学院》——1.5节怎样才能学好3ds Max,你要听好
  3. shell编程中的 ${ }强大功能
  4. 解决方案仅用于执行startup.bat启动时乱码解决
  5. 看雪KSSD-windows驱动
  6. 动态游标for循环_数据结构系列循环链表
  7. 信息学奥赛一本通 1041:奇偶数判断 | OpenJudge NOI 1.4 03
  8. 《和平精英》崩了 官方回应:受运营商网络波动影响 正在修复
  9. Dropping Balls UVA - 679(二叉树的遍历)
  10. 股票的资产重组什么意思?
  11. MFC程序打包为安装文件方法
  12. nyoj--2--括号配对
  13. IntelliJIdea14 修改默认缓存的位置
  14. [pion]测试你的TURN服务器
  15. 【Unity面试】 NGUI优化和UGUI优化 | 面试真题 | UI框架 | 全面总结 |建议收藏
  16. python 隐藏命令行窗口_科学网—Windows下后台运行程序并隐藏cmd命令提示符窗口 - 周锋的博文...
  17. 你真的了解传统IT的集中式三层架构及主流开发技术选型?!
  18. 2013年 雷诺 Renault Zoe | 警告信息 “停车: 电力故障危险”
  19. redit高可用之集群
  20. 地图导航中的路径规划算法(综述)

热门文章

  1. 本地安全策略的运用和详解
  2. 外架小横杆外露长度规范要求_脚手架基本知识 -
  3. access数据库mysql文件_access数据库的打开方法
  4. 正态分布高斯分布泊松分布_正态分布:将数据转换为高斯分布
  5. 南阳oj忙命逃窜,bfs
  6. tar: 它似乎不像是一个 tar 归档文件_解决方法
  7. 默纳克刷机,默纳克刷协议,默纳克显示板 外呼板协议更改 烧录 默纳克各种软件各种刷机,含主板、轿顶板、外呼板刷机软件原程序、操作器刷机软件及协议一应俱全。
  8. HDU5661---Claris and XOR
  9. jQuery阻止冒泡
  10. 第三章 学习率(LR : learning rate)