第7周文件和数据格式化

#AutoTraceDraw.py
import turtle as t
t.title('自动轨迹绘制')
t.setup(800,600,0,0)
t.pencolor("red")
t.pensize(5)
#数据读取
datals = []
f = open("data.txt")
for line in f:line = line.replace("\n", "")datals.append(list(map(eval,line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)):t.pencolor(datals[i][3],datals[i][4],datals[i][5])t.fd(datals[i][0])if datals[i][1]:t.right(datals[i][2])else:t.left(datals[i][2])

7.3 一维数据的格式化和处理

数据组织的维度。。。
从一个数据到一组数据

一维数据：由对等关系的有序或无序数据构成，采用线性方式组织。
对应列表、数组和集合等概念。

二维数据：由多个一维数据构成，是一维数据的组合形式。

多维数据：由一维或二维数据在新维度上扩展形成。

高维数据：仅利用最基本的二元关系展示数据间的复杂结构。
例如：键值对。

数据的操作周期：存储-表示-操作

一维数据的表示：
如果数据间有序，使用列表类型。
如果数据间无序，使用集合类型。

一维数据的存储：
空格分隔，不换行。
逗号分隔，不换行。
其它方式。采用特殊符号分隔。

一维数据的处理：

txt = open(fname).read()
ls = txt.split()  #ls = txt.split("$")
f.close()

采用空格分隔方式将数据写入文件

ls = ['中国', '美国', '日本']
f = open(fname, 'w')
f.write(' '.join(ls))  #在列表ls中每个元素之间增加空格
#f.write('$'.join(ls))  在列表ls中每个元素之间增加$符号
f.close()

7.4 二维数据的格式化和处理

使用列表类型
使用两层for循环遍历每一个元素

CSV: Comma-Separated Values
国际通用的一二维数据存储格式，一般.csv扩展名
每行一个一维数据，采用逗号分隔，无空行
Excel和一般编辑软件都可以读入或另存为csv文件
如果某个元素缺失，逗号仍要保留
二维数据的表头可以作为数据存储，也可以另行存储
逗号为英文半角逗号，逗号与数据之间无额外空格

二维数据的读入处理

#从CSV格式的文件中读入数据
fo = open(fname)
ls = []
for line in fo:line = line.replace("\n", "")ls.append(line.split(","))
fo.close()

ls = [[], [], []]  #二维列表
f = open(fname, 'w')
for item in ls:f.write(','.join(item) + '\n')
f.close()

二维数据的逐一处理

ls = [[1,2], [3,4], [5,6]]  #二维列表
for row in ls:for column in row:print(column)

7.5 模块6：wordcloud库的使用

词云以词语为基本单位，更加直观和艺术的展示文本。

pip install worldcloud

wordcloud库把词云当作一个WordCloud对象。
wordcloud.WordCloud()代表一个文本对应的词云。
可以根据文本中词语出现的频率等参数绘制词云。
绘制词云的形状、尺寸和颜色都可以设定。

wordcloud库常规方法

w = wordcloud.WordCloud()

以WordCloud对象为基础
配置参数、加载文本、输出文件

w.generate(txt)  #向WordCloud对象w中加载文本txt
w.to_file(filename)  #将词云输出为图形文件，.png或.jpg格式

步骤1：配置对象参数
步骤2：加载词云文本
步骤3：输出词云文件

import wordcloud
c = wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")  #图片宽度默认400像素，高度为200像素

①分隔：以空格分隔单词
②统计：单词出现次数并过滤
③字体：根据统计配置字体
④布局：颜色环境尺寸

w = wordcloud.WordCloud(<参数>)width  #指定词云对象生成图片的宽度，默认400像素
height   #指定词云对象生成图片的高度，默认200像素
min_font_size   #指定词云中字体最小字号，默认4号
max_font_size   #指定词云中字体最大字号，根据高度自动调节
font_step   #指定词云中字体字号的步进间隔，默认为1
font_path   #指定字体文件的路径，默认None
max_words   #指定词云显示的最大单词数量，默认200
stop_words  #指定词云的排除词列表，即不显示的单词列表
mask    #指定词云形状，默认为长方形，需要引用imread()函数
background_color   #指定词云图片的背景颜色，默认为黑色

示例1：

import wordcloud
txt = "life is short, you need python"
w = wordcloud.WordCloud(background_color = "white")
w.generate(txt)
w.to_file("pywcloud.png")

示例2：

import jieba
import wordcloud
txt = "程序设计语言是计算机能够理解和识别用户操作意图的一种交互体系，它按照特定规则组织计算机指令，使计算机能够自动进行各种运算处理。"
w = wordcloud.WordCloud(width = 1000, font_path = "msyh.tcc", height = 700)
w.generate(" ".join(jieba.lcut(txt)))
w.to_file("pywcloud.png")

7.6 实例12：政府工作报告词云

需求：对于政府工作报告等政策文件，如何直观理解？

步骤1：读取文件、分词整理
步骤2：设置并输出词云
步骤3：观察结果，优化迭代

#GovRptWordCloudv1.py
import jieba
import wordcloud
f = open("新时代中国特色社会主义.txt", "r", encoding = "utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path = "msyh.ttc", width = 1000, height = 700, background_color = "white", max_words = 15, stopwords = ["的","和","是","在"])
w.generate(txt)
w.to_file("grwordcloud.png")

加载图片

from imageio import imread