我正在尝试使用Jupyter笔记本从MySQL表中获取1亿行。我尝试过使用pymysql.cursors来打开MySQL连接。实际上，为了加快查询选择过程，我尝试过使用批处理，因为要同时选择所有行是一个非常繁重的操作。以下是我的测试：import pymysql.cursors

# Connect to the database

connection = pymysql.connect(host='XXX',

user='XXX',

password='XXX',

db='XXX',

charset='utf8mb4',

cursorclass=pymysql.cursors.DictCursor)

try:

with connection.cursor() as cursor:

print(cursor.execute("SELECT count(*) FROM `table`"))

count = cursor.fetchone()[0]

batch_size = 50

for offset in xrange(0, count, batch_size):

cursor.execute(

"SELECT * FROM `table` LIMIT %s OFFSET %s",

(batch_size, offset))

for row in cursor:

print(row)

finally:

connection.close()

目前测试应该只打印出每一行(或多或少不太值得)，但我认为最好的解决方案是将所有内容存储在pandas数据框中。

不幸的是，当我运行它时，我得到了这个错误：KeyError Traceback (most recent call

last) in ()print(cursor.execute("SELECT count(*) FROM `table`"))

---> count = cursor.fetchone()[0]batch_size = 50

KeyError: 0

有人知道会出什么问题吗？

也许使用chunksize是个更好的主意？

提前谢谢！在

更新

我再次重写了代码，没有批处理大小，并将查询结果存储在pandas数据帧中。最后，它似乎在运行，但由于数据量为100mln行，因此执行时间看起来几乎是“无限的”：

^{pr2}$

加快这一进程的正确方法是什么？可能通过传递参数chunksize = 250？

而且如果我试图打印df的类型，那么它输出的是一个生成器。实际上，这个不是一个数据帧。在

如果我打印df，输出是：

如何获取数据帧格式的数据？因为如果我打印fetch_all命令，我可以看到查询的正确输出选择，因此在这一点上，一切都按预期工作。在

如果我试图将Dataframe()与fetchAll命令的结果一起使用，我会得到：ValueError: DataFrame constructor not properly called!

另一个更新

我可以通过如下方式迭代pd.read_sql输出结果：for chunk in pd.read_sql(query, connection, chunksize = 250):

chunks.append(chunk)

result = pd.concat(chunks, ignore_index=True)

print(type(result))

#print(result)

最后我得到了一个名为result的数据帧。在

现在的问题是：是否可以无限制地查询所有数据？在

究竟是什么影响了流程基准？在