(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?

本文主要解决以上两个问题。

(2)具体步骤如下:

1.第一步,安装openpyxl,

使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。

写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。

pip install openpyxl==2.2.6

2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。

(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:

python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,

但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。

因此面对需要导出大量数据到excel的情况,你将有如下三种选择,

(1) 换一种存储格式,如保存为CSV文件

(2) 使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理

(3) win32 COM (Windows only)

当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。

ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

(4) 闲话少说,直接上代码,敬请参考

# coding:utf-8

'''

# 希望对大家有帮助哈,请多提问题

create by yaoyz

date: 2017/01/24

'''

import xlrd

import xlwt

# workbook相关

from openpyxl.workbook import Workbook

# ExcelWriter,封装了很强大的excel写的功能

from openpyxl.writer.excel import ExcelWriter

# 一个eggache的数字转为列字母的方法

from openpyxl.utils import get_column_letter

from openpyxl.reader.excel import load_workbook

class HandleExcel():

'''Excel相关操作类'''

def __init__(self):

self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']

"""

function:

读出txt文件中的每一条记录,把它保存在list中

Param:

filename: 要读出的文件名

Return:

res_list: 返回的记录的list

"""

def read_from_file(self,filename):

res_list=[]

file_obj=open(filename,"r")

for line in file_obj.readlines():

res_list.append(line)

file_obj.close()

return res_list

"""

function:

读出*.xlsx中的每一条记录,把它保存在data_dic中返回

Param:

excel_name: 要读出的文件名

Return:

data_dic: 返回的记录的dict

"""

def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):

# 读取excel2007文件

wb = load_workbook(filename=excel_name)

# 显示有多少张表

print "Worksheet range(s):" , wb.get_named_ranges()

print "Worksheet name(s):" , wb.get_sheet_names()

# 取第一张表

sheetnames = wb.get_sheet_names()

ws = wb.get_sheet_by_name(sheetnames[0])

# 显示表名,表行数,表列数

print "Work Sheet Titile:" ,ws.title

print "Work Sheet Rows:" ,ws.get_highest_row()

print "Work Sheet Cols:" ,ws.get_highest_column()

# 获取读入的excel表格的有多少行,有多少列

row_num=ws.get_highest_row()

col_num=ws.get_highest_column()

print "row_num: ",row_num," col_num: ",col_num

# 建立存储数据的字典

data_dic = {}

sign=1

# 把数据存到字典中

for row in ws.rows:

temp_list=[]

# print "row",row

for cell in row:

print cell.value,

temp_list.append(cell.value)

print ""

data_dic[sign]=temp_list

sign+=1

print data_dic

return data_dic

"""

function:

读出*.xlsx中的每一条记录,把它保存在data_dic中返回

Param:

records: 要保存的,一个包含每一条记录的list

save_excel_name: 保存为的文件名

head_row_stu_arrive_star:

Return:

data_dic: 返回的记录的dict

"""

def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):

# 新建一个workbook

wb = Workbook()

# 新建一个excelWriter

ew = ExcelWriter(workbook=wb)

# 设置文件输出路径与名称

dest_filename = save_excel_name.decode('utf-8')

# 第一个sheet是ws

ws = wb.worksheets[0]

# 设置ws的名称

ws.title = "range names"

# 写第一行,标题行

for h_x in range(1,len(head_row)+1):

h_col=get_column_letter(h_x)

#print h_col

ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])

# 写第二行及其以后的那些行

i = 2

for record in records:

record_list=str(record).strip().split("\t")

for x in range(1,len(record_list)+1):

col = get_column_letter(x)

ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))

i += 1

# 写文件

ew.save(filename=dest_filename)

"""

function:

测试输出Excel内容

读出Excel文件

Param:

excel_name: 要读出的Excel文件名

Return:

"""

def read_excel(self,excel_name):

workbook=xlrd.open_workbook(excel_name)

print workbook.sheet_names()

# 获取所有sheet

print workbook.sheet_names() # [u'sheet1', u'sheet2']

sheet2_name = workbook.sheet_names()[1]

# 根据sheet索引或者名称获取sheet内容

sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始

sheet2 = workbook.sheet_by_name('Sheet1')

# sheet的名称,行数,列数

print sheet2.name,sheet2.nrows,sheet2.ncols

# 获取整行和整列的值(数组)

rows = sheet2.row_values(3) # 获取第四行内容

cols = sheet2.col_values(2) # 获取第三列内容

print rows

print cols

# 获取单元格内容

print sheet2.cell(1,0).value

print sheet2.cell_value(1,0)

print sheet2.row(1)[0].value

# 获取单元格内容的数据类型

print sheet2.cell(1,0).ctype

# 通过名称获取

return workbook.sheet_by_name(u'Sheet1')

"""

function:

设置单元格样式

Param:

name: 字体名字

height: 字体高度

bold: 是否大写

Return:

style: 返回设置好的格式对象

"""

def set_style(self,name,height,bold=False):

style = xlwt.XFStyle() # 初始化样式

font = xlwt.Font() # 为样式创建字体

font.name = name # 'Times New Roman'

font.bold = bold

font.color_index = 4

font.height = height

borders= xlwt.Borders()

borders.left= 6

borders.right= 6

borders.top= 6

borders.bottom= 6

style.font = font

style.borders = borders

return style

"""

function:

按照 设置单元格样式 把计算结果由txt转变为Excel存储

Param:

dataset:要保存的结果数据,list存储

Return:

将结果保存为 excel对象中

"""

def write_to_excel(self, dataset,save_excel_name,head_row):

f = xlwt.Workbook() # 创建工作簿

# 创建第一个sheet:

# sheet1

count=1

sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet

# 首行标题:

for p in range(len(head_row)):

sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))

default=self.set_style('Times New Roman',200,False) # define style out the loop will work

for line in dataset:

row_list=str(line).strip("\n").split("\t")

for pp in range(len(str(line).strip("\n").split("\t"))):

sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)

count+=1

f.save(save_excel_name) # 保存文件

def run_main_save_to_excel_with_openpyxl(self):

print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"

print "1. 把txt文件读入到内存中,以list对象存储"

dataset_list=self.read_from_file("test_excel.txt")

'''test use openpyxl to handle EXCEL 2007'''

print "2. 把文件写入到Excel表格中"

head_row_label=self.head_row_labels

save_name="test_openpyxl.xlsx"

self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)

print "3. 执行完毕,由txt格式文件保存为Excel文件的任务"

def run_main_save_to_excel_with_xlwt(self):

print " 4. 把txt文件读入到内存中,以list对象存储"

dataset_list=self.read_from_file("test_excel.txt")

'''test use xlwt to handle EXCEL 97-2003'''

print " 5. 把文件写入到Excel表格中"

head_row_label=self.head_row_labels

save_name="test_xlwt.xls"

self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)

print "6. 执行完毕,由txt格式文件保存为Excel文件的任务"

if __name__ == '__main__':

print "create handle Excel Object"

obj_handle_excel=HandleExcel()

# 分别使用openpyxl和xlwt将数据写入文件

obj_handle_excel.run_main_save_to_excel_with_openpyxl()

obj_handle_excel.run_main_save_to_excel_with_xlwt()

'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''

#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法

#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法

obj_handle_excel.read_excel("testexcel2003.xls")

obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")

以上这篇使用python将大量数据导出到Excel中的小技巧分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

python导出百万数据到excel_[宜配屋]听图阁相关推荐

  1. python连接oracle详细教程_[宜配屋]听图阁

    1. 连接对象 操作数据库之前,首先要建立数据库连接. 有下面几个方法进行连接. >>>import cx_Oracle >>>db = cx_Oracle.con ...

  2. python做excel表格代码_[宜配屋]听图阁

    安装两个库:pip install xlrd.pip install xlwt 1.python读excel--xlrd 2.python写excel--xlwt 1.读excel数据,包括日期等数据 ...

  3. python中random库中shuffle_[宜配屋]听图阁 - 详解Python中打乱列表顺序random.shuffle()的使用方法...

    之前自己一直使用random中 randint生成随机数以及使用for将列表中的数据遍历一次. 现在有个需求需要将列表的次序打乱,或者也可以这样理解: [需求]将一个容器中的数据每次随机逐个遍历一遍. ...

  4. python的pyaudio教程入门_[宜配屋]听图阁

    ​ 0.引子 当需要使用Python处理音频数据时,使用python读取与播放声音必不可少,下面介绍一个好用的处理音频PyAudio工具包. PyAudio是Python开源工具包,由名思义,是提供对 ...

  5. python对数组的基本操作_[宜配屋]听图阁

    这篇文章主要介绍了简单了解python数组的基本操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 一,创建列表 创建一个列表,只要把逗号分隔的不同 ...

  6. python开发一个彩票系统_[宜配屋]听图阁

    本文为大家分享了python实现彩票系统的具体代码,供大家参考,具体内容如下 功能:1.注册  2.登录  3.充钱   4.提现  5.下注  6.开奖  7.退出 简述:彩民需要用身份证号码开户注 ...

  7. python求超级素数代码_[宜配屋]听图阁

    如果一个数字能表示成 p^q,且p是一个素数,q为大于1的正整数,则此数字就是超级素数幂. param number: 测试该数字是否是超级素数幂 return: 如果不是就返回 False,如果是就 ...

  8. python计算圆的体积_[宜配屋]听图阁

    在已知DICOM和三维模型对应掩膜的情况下,计算三维模型的体积. 思路: 1.计算每个体素的体积.每个体素为长方体,x,y为PixelSpacing,z为层间距 使用pydicom.read_file ...

  9. 关于python格式对齐的问题_[宜配屋]听图阁 - 浅谈python str.format与制表符\t关于中文对齐的细节问题...

    写了一个练手的爬虫...在输出的时候出现了让人很不愉♂悦的问题 像这样: 令人十分难受啊! #------------------------------------------ 在此之前先说一下py ...

最新文章

  1. Zend Studio出现 Some characters cannot be mapped using GBK character encoding 错误
  2. zsh:no matches found 问题解决
  3. Vue指令之v-on的缩写和事件修饰符||.stop 和 .self 的区别
  4. 基本数据结构----循环链表
  5. 重量级锁的加锁的基本流程
  6. centos7.5 下LNMP搭建
  7. 火焰效果材质实现_「游戏开发」使用Unity实现魔法火焰效果
  8. vgc机器人编程1到13题_工业机器人编程与实操-期末试题
  9. How to remove ROM cfg in MAME
  10. 招兵买马,韩国现代将前GM研究员招致麾下
  11. JS正则验证邮箱的格式
  12. 微课|中学生可以这样学Python(2.2.1节):算术运算符
  13. Kali系统学习:弱点扫描工具NMAP实战演示
  14. 基于粒子群算法的PID控制器优化设计
  15. [奥塔在线]IIS Express如何开启HTPPS访问
  16. [羊城杯 2020]easyre
  17. echarts3.0 markline 最大值 最小值 均值 方差 标准差 包络 正态分布
  18. WebSocket 获取客户端的IP
  19. android 数据传递工具,AnyTrans for Android for Mac(安卓手机数据传输工具)
  20. 三大流派三次浪潮,人工智能60年沉浮史

热门文章

  1. RPA落地效果:2个月,每天运行6000+小时,节省上万人力——以宝尊为例
  2. deepin15.11护眼模式
  3. 重镑!首个国产桌面操作系统开发者平台正式发布
  4. 风炫安全Web安全学习第四十节课 反序列化漏洞攻击利用演示
  5. 物联网平台:前端技术选型总结
  6. 小程序--页面分享功能传参踩坑
  7. python中函数startswith的用法,Python中用startswith()函数判断字符串开头的教程
  8. 将数组元素进行前后对调
  9. C语言 子兔一月变成兔 成兔一月生子兔 程序实现
  10. AccessibilityService 进行蚂蚁森林能量收集 demo