python pandas 行数_Python Pandas：增加最大行数

我正在处理一个大文本文件(500k行),格式如下：

S1_A16

0.141,0.009340221649748676

0.141,4.192618196894668E-5

0.11,0.014122135626540204

S1_A17

0.188,2.3292323316081486E-6

0.469,0.007928706856794138

0.172,3.726771730573038E-5

我正在使用下面的代码返回每个系列的相关系数,例如小号_A16！

import numpy as np

import pandas as pd

import csv

pd.options.display.max_rows = None

fileName = 'wordUnigramPauseTEST.data'

df = pd.read_csv(fileName, names=['pause', 'probability'])

mask = df['pause'].str.match('^S\d+_A\d+')

df['S/A'] = (df['pause']

.where(mask, np.nan)

.fillna(method='ffill'))

df = df.loc[~mask]

result = df.groupby(['S/A']).apply(lambda grp: grp['pause'].corr(grp['probability']))

print(result)

但是,在某些大文件上,这会返回错误：

Traceback (most recent call last):

File "/Users/adamg/PycharmProjects/Subj_AnswerCorrCoef/GetCorrCoef.py", line 15, in

print(result)

File "/Users/adamg/anaconda/lib/python2.7/site-packages/pandas/core/base.py", line 35, in __str__

return self.__bytes__()

File "/Users/adamg/anaconda/lib/python2.7/site-packages/pandas/core/base.py", line 47, in __bytes__

return self.__unicode__().encode(encoding, 'replace')

File "/Users/adamg/anaconda/lib/python2.7/site-packages/pandas/core/series.py", line 857, in __unicode__

result = self._tidy_repr(min(30, max_rows - 4))

TypeError: unsupported operand type(s) for -: 'NoneType' and 'int'

我知道这与print语句有关,但我该如何解决呢？

编辑：

这与最大行数有关.有谁知道如何容纳更多的行？

python pandas 行数_Python Pandas：增加最大行数相关推荐

python查看dataframe数据类型_python pandas中DataFrame类型数据操作函数的方法
python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数. 1)查看DataFrame数 ...
python文件关键行数_Python计算大文件行数方法及性能比较
如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较. 1.readline读所有行使用readlines方法读取所有行: def readline_count(fi ...
python datetime timedelta函数_Python Pandas DatetimeIndex.to_perioddelta()用法及代码示例
Python是进行数据分析的一种出色语言,主要是因为以数据为中心的python软件包具有奇妙的生态系统. Pandas是其中的一种,使导入和分析数据更加容易. Pandas DatetimeIndex ...
python pandas 日期格式_python+pandas+时间、日期以及时间序列处理方法
先简单的了解下日期和时间数据类型及工具 python标准库包含于日期(date)和时间(time)数据的数据类型,datetime.time以及calendar模块会被经常用到. datetime以毫 ...
python项目代码量_python统计项目代码行数
stat.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- import chardet import os import sys # 定义注释的格式 ...
python的describe参数_Python Pandas Series.describe()用法及代码示例
Pandas 系列是带有轴标签的一维ndarray.标签不必是唯一的,但必须是可哈希的类型.该对象同时支持基于整数和基于标签的索引,并提供了许多方法来执行涉及索引的操作. Pandas Series. ...
python代码300行程序_python小工具,15行代码秒出工资条
公司工资条经常使用Excel制作,但是每个月都要做一遍,能不能用python写个程序自动化完成这想工作?当然可以,而且只是分分钟的事! 先来看看原始数据是什么样子: 最后做成的效果: 使用Excel每 ...
python判断回文数_Python练习题---判断回文数
设n是一个任意自然数,如果n的各位数字反向排序所得的自然数与n相等,则n被称为回文数,从键盘输入一个5位数字 ,请编写程序判断这个数字是不是回文数. 思路:先获取一个字符串,再判断该字符串是否满足是自 ...
python递归判断回文数_Python实现判断回文数算法
回文数的定义:回文数是指正序(从左向右)和倒序(从右向左)读都是一样的整数. 示例1: 输入:121 输出:True 示例2: 输入:-121 输出:False 解释: 从左向右读, 为 -121 . ...

python pandas 行数_Python Pandas：增加最大行数

python pandas 行数_Python Pandas：增加最大行数相关推荐

最新文章

热门文章