Python语言程序设计 第七周 文件和数据格式化
文件和数据格式化
字符串数据格式化
“{}{}{}”.format()
将字符串按照一定规格和式样进行规范
方法论
从python角度理解的文件和数据表示
实践能力
学会编写带有文件输入输出的程序
7.1 文件的使用
文件的类型
文件的理解
文件是数据的抽象和集合
文件是存储在辅助存储器上的数据序列
文件是数据存储的一种形式
文件展现形态：文本文件和二进制文件文本文件和二进制文件只是文件的展示方式本质上，所有文件都是二进制形式存储形式上，所有文件采用两种方式展示文件是数据的抽象和集合由单一特定编码组成的文件，如utf-8编码由于存在编码，也被看成是存储着的长字符串适用于例如：txt文件，.py文件二进制文件文件是数据的抽象和集合直接由比特0和1组成，没有统一字符编码一般存在二进制0和1的组织结构，即文件格式适用于例如：.png文件、.avi文件
#文本形式打开文件
tf = open("f.txt","rt")
print(tf.readline())
tf.close()
#二进制形式打开文件
bf = open("f.txt","rb")
print(tb.readline())
tf.close()
f.txt文件保存：“中国是个伟大的国家!”
#二进制形式打开文件
bf = open("f.txt","rb")
print(bf.readline())
bf.close()
文本文件VS.二进制文件
f.txt文件保存：“中国是个伟大的国家”
#二进制打开文件
bf = open("f.txt","rb")
print(bf.readline())
bf.close
文件的打开和关闭
文件路径
<变量名> = open(<文件名>,<打开模式>)
D:\PYE\f.txt
文件路径和名称 “D:/PYE/f.txt”
原文件目录可省路径 “D:\PYE\f.txt”
<变量名> = open(<文件名>,<打开模式>)
D:\PYE\f.txt
文件路径和名称 “D:/PYE/f.txt” “./PYE/f.txt”
原文件目录可省路径 “D:\PYE\f.txt” “f.txt”
文件的打开模式以及描述
‘r’ 只读模式，默认值，如果文件不存在，返回FileNotFoundError
‘w’ 覆盖写模式，文件不存在则创建，存在则完全覆盖
‘x’ 创建写模式，文件不存在则创建，存在则返回FileExistError
‘a’ 追加写模式，文件不存在则创建，存在则在文件最后追加内容
‘b’ 二进制文件模式
‘t’ 文本文件模式，默认值
‘+’ 与r/w/x/a一同使用，在原功能基础上增加同时读写功能
打开模式
f = open("f.txt") 文本形式、只读模式、默认值
f = open("f.txt"，"rt") 文本形式、只读模式、同默认值
f = open("f.txt"，"w") 文本形式、覆盖写模式
f = open("f.txt"，"a+") 文本形式、追加写模式+读文件
f = open("f.txt"，"x") 文本形式、创建写模式
f = open("f.txt"，"b") 二进制形式、只读模式
f = open("f.txt"，"wb") 二进制形式、覆盖写模式
文件的关闭
<变量名>.close()
文件句柄
文件使用
#文本形式打开文件
tf = open("f.txt","rt")
print(tf.readline())
tf.close()#二进制形式打开文件
bf = open("f.txt","rb")
print(bf.readline())
bf.close()
文件内容的读取
.read(size=-1) 读入全部内容，如果给出参数，读入前size长度
>>>s = f.read(2)
中国
.readline(size = -1) 读入一行内容，如果给出参数，读入改行前size长度
>>>s = f.readline()
中国是一个伟大的国家！
.readlines(hint = -1) 读入文件所有行，以每行为元素形成列表，如果给出参数，读入前hint行
>>>s = f.readlines()
中国是一个伟大的国家！
文件的全文本操作
fo = open(fname,"r")
txt = fo.read()
#对全文本txt进行处理
fo.close()
一次读入，全部处理按数量读入逐步处理的办法
fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")
txt = fo.read(2)
while txt != "":#对txt进行处理txt = fo.read(2)
fo.close()
逐行遍历处理方法
逐行遍历文件：方法一
fname = input("请输入要打开的文件名称")
fo = open(fname,"r")
for line in fo.readlines():print(line)
fo.close() 逐行遍历文件：方法二
fname = input("请输入要打开的文件名称：")
fo = open(fname,"r")
for line in fo:print(line)
fo.close()
数据文件的写入
.write(s) 向文件中写入一个字符串或字节流
>>>f.write("中国是一个伟大的国家")
.writelines(lines) 向一个元素全为字符串的列表写入文件
>>>ls = ["中国","法国","美国",]
>>>f.writelines(ls)
中国法国美国
.seek(offset) 改变当前文件操作指针的位置，offset含义如下：
0 - 文件开头；1 - 当前位置；2 - 文件结尾
>>>f.seek(0) #回到文件开头
数据的文件写入
fo = open("output.txt","w+")
ls = ["中国","法国","美国"]
fo.writelines(ls)
fo.seek(0)
for line in fo:print(line)
fo.close()>>>
中国法国美国
7.2 实例11：自动轨迹绘制
自动轨迹绘制
需求：根据脚本来绘制图形
不是写代码而是写数据绘制轨迹
数据脚本自动化最重要的第一步
基本思路
定义数据文件的格式
编写程序，根据文件接口解析参数绘制图形
编制数据文件
rgb三个通道的颜色是0到1之间的浮点数
#AutoTraceDraw.py
import turtle as t
t.title('自动轨迹绘制')
t.setup(800,600,0,0)
t.pencolor("red")
t.pensize(5)
#数据读取
datas = []
f = open("data.txt")
for line in f:line = line.replace("\n","")datals.append(list(map(eval,line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)) t.pencolor(dadals[i][3],datals[i][4],datals[i][5])t.fd(datals[i][0])if datals[i][1]:t.right(datals[i][2])else:t.left(datals[i][2])
自动化思维：数据和功能分离，数据驱动的自动运行
接口化设计：格式化设计接口，清晰明了
二维数据应用：应用维度组织数据，二维数据最常用
扩展接口设计，增加更多控制接口
扩展功能设计，增加弧形等更多功能
扩展应用需求，发展自动轨迹绘制到动画绘制
7.3 一维数据的格式化和处理
数据组织的维度
一个数据表达一个含义，一组数据表达一个或者多个含义
一组数据是采用线性方式组织还是采用二维方式组织，这就能构成不同的数据组织方式
一维数据
由对等关系的有序或无序数据构成，采用线性方式组织
3.1413,3.1398,3.1404,3.1401,3.1349,3.1376
对应列表、数组和集合等概念
时间维度的扩展上形成了多维数据
高维数据
仅利用最基本的二元关系展示数据间的复杂结构
键值对
{"firstName" :"Tian","lastName" :"Song","address" :{"streetAddr" :"中关村南大街5号","city" :"北京市","zipcode" :"100081",},"professional" :["Computer Networking","Security"]
}
一维数据的表示
如果数据间有序：使用列表类型
ls = [3.1413,3.1398,3.1404,3.1401,3.1349,3.1376]
列表类型可以表达一维有序数据
for循环可以遍历数据，进而对每个数据进行处理
如果数据间无序：使用集合类型
st = {3.1413,3.1398,3.1404,3.1401,3.1349,3.1376}
集合类型可以表达一维无序数据
for循环可以遍历数据，进而对每个数据进行处理
一维数据的存储
存储方式一：空格分隔
中国 美国 日本 德国 法国 英国 意大利
使用一个或多个空格分隔进行存储，不换行
缺点：数据中不能存在空格
存储方式二：逗号分隔
中国，美国，日本，德国，法国，英国，意大利
使用英文半角逗号分隔数据进行存储，不换行
缺点：数据中不能有英文逗号
存储方式三：其他方式
中国美国美国美国日本德国德国德国法国英国英国英国意大利
使用其他符号或符号组合分隔，建议采用特殊符号
缺点：需要根据数据特点定义，通用性较差
一维数据的读入处理
从空格分隔的文件中读入数据
中国 美国 日本 德国 法国 英国 意大利
txt = open(fname).read()
ls = txt.split()
f.close()>>>ls
['中国','美国','日本','德国','法国','英国','意大利']
从特殊符号分隔的文件中读入数据
中国美国美国美国日本德国德国德国法国英国英国英国意大利
txt = open(fname).read()
ls = txt.split($)
f.close()>>>ls
['中国','美国','日本','德国','法国','英国','意大利']
一维数据的写入处理
采用空格分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname,'w')
f.write(' '.join(ls))
f.close()
采用特殊分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname,'w')
f.write('$'.join(ls))
f.close()
7.4 二维数据的格式化和处理
二维数据的表示
二维数据的表示
使用列表类型
[[3.1398,3.1349,3.1376],
[3.1413,3.1404,3.1401]]
使用两层for循环遍历每个元素
外层列表中每个元素可以对应一行，也可以对应一列
一二维数据的Python表示
数据维度是数据的组织形式
一位数据:列表和集合类型
[3.1398,3.1349,3.1376] 数据间有序
{3.1398,3.1349,3.1376} 数据间无序
二维数据：列表类型
[[3.1398,3.1349,3.1376],
[3.1413,3.1404,3.1401]]
CSV数据存储格式
CSV：Comma-Separated Values
国际通用的一二维数据存储格式，一般.csv扩展名
每行一个一维数据，采用逗号分隔，无空行
Excel和一般编辑软件都可以读入或另存为csv文件
CSV数据的存储格式
如果某个元素缺失，逗号仍要保留
二维数据的表头可以作为数据存储，也可以另行存储
逗号为英文半角逗号，逗号与数据之前无额外空格
二维数据的存储
按行存或者按列存都可以，具体由程序决定
一般索引习惯：ls[row][column],先行后列
根据一般习惯，外层列表每个元素是一行，按行存
二维数据的处理
从csv格式的文件中读入数据
fo = open(fname)
ls = []
for line in fo:line = line.replace("\n","")ls.append(line.split(","))
fo.close()将数据写入csv格式的文件
ls = [[],[],[]] #二维列表
f = open(fname,'w')
for item in ls:f.write(','.join(item)+'\n')
f.close()
二维数据的逐一处理
采用二层循环
ls = [[1,2],[3,4],[5,6]] #二维列表
for row in ls:for column in row:print(column)
7.5 模块6：world cloud库的使用
命令行pip install worldcloud
worldcloud库基本使用
worldcloud库把词云当作一个worldcloud对象
可以根据文本中词语出现的频率等参数绘制词云
绘制词云的形状、尺寸和颜色都可以设定
w = worldcloud.WordCould()
以WorldCloud对象为基础
配置参数、加载文件、输出文件
wordcloud库常规方法
w = wordcloud.WordCloud()
方法
w.generate(txt) 向WorldCloud对象W中加载文本txt,
>>>w.generate("Python and WordCloud")w.to_file(filename) 将词云输出为图像文件，.png或者.jpg格式
>>>w.to_file("outfile.png")
wordcloud库常规方法
配置对象参数
加载词云文本
输出词云文件
import wordcloud
c = wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")
分隔：以空格分隔单词
统计：单词出现次数并过滤
字体：根据统计配置字号
布局：颜色环境尺寸
配置对象参数
w = wordcloud.WorldCloud(<参数>)
width 指定词云对象生成图片的宽度，默认400像素
>>>w = wordcloud.WorldCloud(<width = 600>)
height 指定词云对象生成图片的高度，默认200像素
>>>w = wordcloud.WorldCloud(<height = 400>)
min_font_size 指定词云中字体的最小字体号，默认4号
>>>w=wordcloud.WordCloud(min_font_size=10)
max_font_size 指定词云中字体的最大字体号，根据高度自动调节
>>>w=wordcloud.WordCloud(max_font_size=20)
font_step 指定词云中字体字号的步进间隔，默认为1
>>>w=wordcloud.WordCloud(font_step=2)
font_path 指定字体文件的路径，默认None
>>>w=wordcloud.WordCloud(font_path="msyh.ttc")
max_words 指定词云显示的最大单词量，默认200
>>>w=wordcloud.WordCloud(max_words=20)
stop_words 指定词云的排除词列表，即不显示的单词列表
>>>w=wordcloud.WordCloud(stop_words={"Python"})
mask 指定词云形状，默认为长方形，需要引用imread()函数
>>>from scipy.misc import imread
>>>mk = imread("pic.png")
>>>w = wordcloud.WordCloud(mask = mk)
background_color 指定词云的背景颜色，默认为黑色
>>>w = wordcloud.WordCloud(background_color = "white")
imprt wordcloud
txt = "life is short,you need python"
w = wordcloud.WordCloud(\background_color = "white")
w.generate(txt)
w.to_file("pywcloud.png")
import jieba
import wordcloud
txt = "程序设计语言是计算机能够理解和\
识别用户操作意图的一种交互体系，它按照\
特定规则组织计算机指令，使计算机能够自\
动进行各种运算处理。"
w = wordcloud.WordCloud(width = 1000,font_path = "msyh.ttc",height = 700)
w.generate("".join(jieba.lcut(txt)))
7.6 实例12：政府工作报告词云
问题分析
只管理解政策文件
需求：对于政府工作报告等政策文件，如何直观理解？
体会直观的价值：生成词云&优化词云
政府工作报告等文件 -->有效展示的词云
政府工作报告词云
基本思路
读取文件、分词整理
设置并输出词云
观察结果、优化迭代
政府工作报告词云
#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\width = 1000, height = 700, background_color="white",\)
w.generate(txt)
w.to_file(grwordcloud.png)
#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("关于实施乡村振兴战略的意见.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\width = 1000, height = 700, background_color="white",\)
w.generate(txt)
w.to_file(grwordcloud.png)
#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\width = 1000, height = 700, background_color="white",\max_words = 15)
w.generate(txt)
w.to_file(grwordcloud.png)
#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("关于实施乡村振兴战略的意见.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\width = 1000, height = 700, background_color="white",\max_words = 15)
w.generate(txt)
w.to_file(grwordcloud.png)
更有形的词云
#GovRptWordCloudv1.py
import jieba
import wordcloud
from scipy.misc import imread
mask = imread("fivestart.png")
f = open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\width = 1000, height = 700, background_color="white",\)
w.generate(txt)
w.to_file(grwordcloud.png)
扩展能力
了解wordcloud更多参数，扩展词云能力
特色词云：设计一筐属于自己的特色词云风格
更多文件：更多文件练习词云生成
Python语言程序设计 第七周 文件和数据格式化相关推荐
- 北理工嵩天Python语言程序设计笔记（8 文件和数据格式化）
前言 本文是对<北理工 嵩天/黄天宇/礼欣 Python语言程序设计>的学习笔记,供自己查阅使用. 文章目录 北理工嵩天Python语言程序设计笔记(目录) 北理工嵩天Python语言程序 ...
- 国家精品在线开放课程“Python语言程序设计”（北理工-嵩天）-第七周文件和数据格式化 练习题
文件字符分布 问题描述: 统计附件文件的小写字母a-z的字符分布,即出现a-z字符的数量,并输出结果. ...
- python123测验7程序题答案_Python语言程序设计 Python123 测验7: 文件和数据格式化（编程题）...
版权声明:本文为博主原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/weixin_42067082/articl ...
- Python语言程序设计第七章 - 组合数据类型 - 6.1
目录 Python语言程序设计第七章 - 组合数据类型 集合运算 集合的关系 集合综合练习 元组元素抓7 元组解包 升序降序 截取部分元素 判断元素书否在列表中存在 头尾对调 翻转列表 指定元素对调 ...
- python第七章文件和数据格式化选择题_《计算机二级Python语言程序设计考试》第7章：文件和数据格式化...
注明:本系列课程专为全国计算机等级考试二级 Python 语言程序设计考试服务 目录 考纲考点 文件的使用: 文件打开.关闭和读写 数据组织的维度:一维数据和二维数据 一维数据的处理:表示.存储和处理 ...
- Python语言程序设计 第0周第1周 Python课程导学、基本语法元素
第0周 Python课程导学 线上线下相结合,手机电脑相结合,长短时间相结合 线上线下 线上看视频/做练习.线下读教材/看资料 手机电脑 视频/作业用手机.编程实践用电脑 长短时间 视频/作业用零碎时 ...
- 七、文件和数据格式化
目录 一.文件 1.概述 2.使用 (1)打开和关闭 (2)读写 二.数据组织 1.一维数据 (1)表示 (2)存储 a.采用空格分隔元素 b.采用逗号分隔元素 c.采用换行分隔元素 d.采用特殊符号 ...
- python语言程序设计基础网课-沿河高校邦数据科学通识课【Python基础语法】答案...
沿河高校邦数据科学通识课[Python基础语法]答案it8p 沿河高校邦数据科学通识课[Python基础语法]答案 关注公众号{帅搜}即可查询答案 支持:大学网课,智慧树,知到,超星,尔雅,学习通,选 ...
- python第七章文件和数据格式化选择题_python第七章-文件和数据格式化
1.文本文件 vs 二进制文件#文本形式打开文件 tf = open("f.txt", "rt") print(tf.readline()) tf.close( ...
- 北理工嵩天Python语言程序设计笔记（10 Python计算生态概览）
前言 本文是对<北理工 嵩天/黄天宇/礼欣 Python语言程序设计>的学习笔记,供自己查阅使用. 文章目录 北理工嵩天Python语言程序设计笔记(目录) 北理工嵩天Python语言程序 ...
最新文章
- Shell练习（七）
- 【算法数据结构Java实现】时间复杂度为O(n)的最大和序列
- wxWidgets：wxHtmlHelpWindow类用法
- Socket之UDP服务器【Python】
- u盘当启动盘（多种方法）
- UVA10934 Dropping water balloons【DP】
- 【30集iCore3_ADP出厂源代码(ARM部分)讲解视频】30-2 工程及程序构架介绍
- sqlserver中获取一张表中列的数据
- OpwnWrt 路由器MWAN3多线多拨实现方法
- android 电影放到哪个文件夹里,手机爱奇艺下载的电影保存到哪个文件夹里
- NOIP模拟 字符处理（送分or送命？）
- 误删除与误格式化的挽回(图)
- 计算机二级试题word,计算机二级考试word试题及答案.doc
- 【OpenGL】(step1)开个窗口
- 数学建模竞赛常用软件培训2
- 2014年计算机考研,2014年计算机考研大纲
- Python的import this 惊喜彩蛋：Python之禅(The Zen of Python)
- 服务器刹车响应时间,驾驶员反应时间及制动响应时间
- js 数组从头添加到数组_如何从头开始实现JavaScript数组方法
- 重型数控机床技术：铣镗加工中心的主轴结构