我有一个csv文件,它包含2列4列数组,但行数不等。例如:Matlab从csv文件中读取多个二维数组

2, 354, 23, 101

3, 1023, 43, 454

1, 5463, 45, 7657

4, 543, 543, 654

3, 56, 7654, 344

...

我需要能够导入数据,这样我可以每个数据块上运行业务,但是csvread,dlmread和textscan都不理的空行。

我似乎无法在任何地方找到解决方案,如何做到这一点?

PS:

这可能是值得指出的是,上述格式的文件实际上是包含只有一个数据块(许多文件拼接我不希望有从数以千计的阅读文件每次),因此块之间的空白行可以更改为任何其他分隔符/标记。这只是用python脚本完成的。

编辑:我的解决方案 - 基于/启发的Petrichor下面

我更换了csvread与textscan这是更快。然后我意识到,如果我用nan行代替空白行(修改我的python脚本),我可以删除第二个慢点文本扫描。我的代码是:

filename = 'data.csv';

fid = fopen(filename);

allData = cell2mat(textscan(fid,'%f %f %f %f','delimiter',','));

fclose(fid);

nanLines = find(isnan(allData(:,1)))';

iEnd = (nanLines - (1:length(nanLines)));

iStart = [1 (nanLines(1:end-1) - (0:length(nanLines)-2))];

nRows = iEnd - iStart + 1;

allData(nanLines,:)=[];

data = mat2cell(allData, nRows);

其中0.28s(一个只有103000行文件)计算。我已经接受了petrichor的解决方案,因为它最能解决我最初的问题。

+0

我想一个办法是更换空行用类似的NaN,NaN的不同,NaN,NaN的,然后使用csvread加载数据后,或者类似的东西,你可以循环访问数据,并且很容易地在matlab中提取块。 –

+0

我希望避免在导入之后通过数据循环(我假设),这只会为整个过程增加更多时间。另一方面,我发现迄今为止,textscan是最快的导入方式? –

+0

如何不留下任何分隔线,而是创建第二个文件,该文件只是新块开始时的行索引,然后使用此文件来定义要处理的行范围,而不是为每个块创建单独的矩阵? –

matlab如何读取二维数组,Matlab从csv文件中读取多个二维数组相关推荐

  1. matlab从csv文件中读取时间转换异常

    matlab 从 csv 文件中读取时间转换异常 最近一段时间一直在研究 matlab 读取各种数据,自以为文件读取的水平还行.可是,昨天,帮朋友读取一个 csv 文件时,时间转换却让我感到非常奇怪. ...

  2. 将NumPy数组转储到csv文件中

    有没有办法将NumPy数组转储到CSV文件中? 我有一个2D NumPy数组,需要以人类可读的格式转储它. #1楼 tofile是执行此操作的便捷函数: import numpy as np a = ...

  3. java将数据写入csv文件,从csv文件中读取数据

    全栈工程师开发手册 (作者:栾鹏) java教程全解 java将数据写入csv文件,从csv文件中读取数据 测试代码 public static void main(String[] arges){/ ...

  4. c语言fscanf读取csv文件,使用fscanf函数从.csv文件中读取int

    我试图从.csv文件中读取一些整数.我不知道到底有多少整数是每行的文件中,我只知道,所有的csv文件是一样的东西:使用fscanf函数从.csv文件中读取int 1,2,3,9,6,3,4 4,5,6 ...

  5. R语言:从 csv 文件中读取数据,然后将数据写入 csv 文件

    在 R 中,我们可以从存储在 R 环境外部的文件读取数据.我们还可以将数据写入将由操作系统存储和访问的文件中.R可以读取和写入各种文件格式,如csv,excel,xml等. 在本章中,我们将学习从 c ...

  6. java file数组 初始化_java从文件中读取数据并赋值给数组

    从txt文件中读取数据赋值给一维数组 字节流读入字节数组中 字节数组转化为字符串 字符创解析为字符串数组 字符串数组转化为数值,并赋值为数组 文本文件是以字节的形式储存的. 在txt文件中一个数字或者 ...

  7. java+读取source资源_如何从JavaJAR文件中读取资源文件?

    如何从JavaJAR文件中读取资源文件? 我试图从一个单独的JAR文件中访问一个XML文件,这个JAR是作为桌面应用程序运行的.我可以获得我需要的文件的URL,但是当我将它传递给FileReader( ...

  8. python从文件中读取数据_【Python】从文件中读取数据

    从文件中读取数据 1.1 读取整个文件 要读取文件,需要一个包含几行文本的文件(文件PI_DESC.txt与file_reader.py在同一目录下) PI_DESC.txt 3.1415926535 ...

  9. python从文件中读取数据时出现错误_Python 从文件中读取数据

    读取整个文件 # 案例:读取整个文件 # pi_digits.txt 3.1415926535 8979323846 2643383279 # file_reader.py with open ('p ...

最新文章

  1. 用NVIDIA-NGC对BERT进行训练和微调
  2. html显示三维模型restful,返回带有Flask Restful的呈现模板,在浏览器中显示HTML
  3. python 导入自定义模块
  4. JavaScript常用数组方法
  5. Vue中使用can-autoplay插件实现浏览器不支持自动播放音频时提示点击
  6. 找不到 快速启动 ,怎么办
  7. Golang中WaitGroup、Context、goroutine定时器及超时学习笔记
  8. winddows 运行指令 (2)
  9. Maximum Subrectangle(矩阵,前缀和)
  10. mysql技术分享--表分区实现
  11. Redux简介以及Redux应用程序中的状态更新方式
  12. notepad自动对齐html代码,notepad如何存储为html格式化
  13. mybatis中使用小于号
  14. 黄聪:UEditor如何在wordpress中调用
  15. 语音识别asr是什么
  16. 真心推荐8个高质量Java学习网站,一起从入门到精通java语言,大厂java面试真题分享,建议码住!
  17. 航空三字代码表_国际国内城市三字代码查询-城市航空代码表;
  18. 红米手机计算机软件,红米手机怎么连接电脑,手把手教你红米手机连接电脑的方法...
  19. EPUB文档格式简单总结
  20. 暴力破解带有密码的压缩文件

热门文章

  1. java+selenium+chromedriver 整页截屏
  2. cscope使用简介
  3. 企服三会 | 企服三会首发,洞见2018中国移动办公发展趋势
  4. USB Gadget iMX6U LL开发板模拟U盘
  5. 复分析阿尔福斯下载中文_复分析txt-复分析pdf-谁知我电子书
  6. 轻体量的报销自动化流程,可与concur媲美
  7. 第一章 大神医系统!
  8. kontron工控机维修控创工业电脑维修SVIMX2
  9. 我和 XOP的 醉生梦死
  10. Python爬虫|采集开源众包的悬赏任务,自动翻页