20220926-（第七周）-数据的处理和wordcloud库

一维数据的格式化和处理

数据组织的维度

一维数据的表示

一维数据的存储

一维数据的处理

维度：一组数据的组织形式

二维数据
由多个一维数据构成，是一维数据的组合形式

例如：表格，是典型的二位数据

多维数据

由一维或二维数据在新维度上扩展形成

高维数据

利用最基本的二元关系展示数据间的复杂结构

数据的操作周期

存储<>表示<>操作

=============一维数据的表示===========

如果数据间有序，使用列表类型

ls = [3.1398,3.1349,3.1376]

列表类型可以表达一维有序数据

for循环可以遍历数据，进而对每个数据进行处理

如果是数据间无序：使用集合类型

st = {3.1398,3.1349,3.1376}

集合类型可以表达一维无序数据

for循环可以遍历数据，进而对每个数据进行处理

=============一维数据的存储===========

存储方式一：空格分隔

中国美国日本德国法国英国意大利

-使用一个或多个空格分隔进行存储，不换行

-缺点：数据中不能存在空格

存储方式二：逗号分隔

中国,美国,日本,德国,法国,英国,意大

-使用英文半角逗号分隔数据进行存储，不换行

-缺点：数据中不能由英文逗号

存储方式三：其他方式

中国￥美国￥日本￥德国￥法国￥英国￥意大

-使用其他符号或符号组合分隔，建议采用特殊符号

-符号：需要根据数据特点定义，通用性较差

读取文件的方式

f = open('data2.txt',encoding = 'UTF-8')
txt = f.read()
ls = txt.split()#根据空格分隔字符串中的信息，将每个元素转换为列表
print(ls)#['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
f.close()

f = open('data2.txt',encoding = 'UTF-8')
txt = f.read()
ls = txt.split('$')#根据特殊符号分隔字符串中的信息，将每个元素转换为列表
print(ls)#['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
f.close()

写入文件的方式

#空格写入
ls = ['中国','美国','日本']
f = open('data2.txt','w',encoding = 'UTF-8')#文件打开中w表示不存在创建，存在覆盖写模式
f.write(' '.join(ls))#join():将前面的字符'空格'放到后边的join参数中
f.close()'''
#特殊符号写入
ls = ['中国','美国','日本']
f = open('data2.txt','w',encoding = 'UTF-8')#文件打开中w表示不存在创建，存在覆盖写模式
f.write('$'.join(ls))#join():将前面的字符'空格'放到后边的join参数中
f.close()
'''

数据维度：一维，二维，多维，高维

一维数据表示：列表类型（有序）和集合类型（无序）

一维数据的存储：空格分隔，逗号分隔，特殊符号分隔

一维数据的处理：字符串方法，.split()和.join()

======================二维数据格式处理========================

二维数据的表示

二维数据是表格形式

使用列表类型可以表达二维数据

[ [3.1,3.2,3.3] ,[3.44,3.55,1.2] ]

使用两层for循环遍历元素

外层列表中每个元素可以对应一行，也可以对应一列

CSV数据存储格式

CSV:Comma-Separated Values :指的是由逗号分开的值

国际通用的一二维数据存储格式，一般.csv扩展名

每行一个一维数据，采用逗号分隔，无空行

Excel和一般的编辑软件都可以读入或者另存为csv文件

csv格式是数据转换的标准格式

如果某个元素缺失，逗号仍要保留

二维数据的存储

按行存或按列存都可以，由程序决定

一般索引习惯：ls[row][column],先行后列

#将数据写入csv格式的文件
ls = [['1','2','3'],['3','2','1'],['4','5','6']]
f = open('clwj.csv','w')
for item in ls:f.write(','.join(item)+'\n')f.close()

#读取csv格式文件fo = open('clwj.csv')
ls = []
for line in fo :line = line.replace('\n','')ls.append(line.split(','))
print (ls)
#循环打印出每个元素
for row in ls:for column in row:print(column)fo.close()

====================wordcloud库=============================

是优秀的词云展示第三方库

词云以词语为基本单位，更加直观和艺术的展示文本

词云安装（cmd命令行）：pip install wordcloud

wordcloud 使用

把词云当作一个WordCloud对象

wordcloud.WordCloud()代表一个文本对应的词云

可以根据文本中的词语出现的频率等参数绘制词云

绘制词云的形状，尺寸和颜色等都可以设定

w = wordcloud.WordCloud()

以WordCloud对象为基础

配置参数,加载文本，输出文件

w.generate(txt) 向WordCloud对象w中加载文本txt

w.to_file(filename) 将词云输出为图像文件，png或jpg文件

from wordcloud import wordcloud  #引入
c = wordcloud.WordCloud()
c.generate("pywordcloud")
c.to_file("pywordcloud.png")

(注意：保存的.py文件名不能和库名一致，会导致循环引入报错，.to_file(),函数里的文件名必须跟扩展名，否则会报错）

w = wordcloud.WordCloud(<参数>)

width 指定词云对象生成图片的宽度，默认400像素

>>>w = wordcloud.WordCloud(width = 600)

height 指定词云对象生成图片的高度，默认200像素

>>>w = wordcloud.WordCloud(height = 400)

min_font_size 指定词云中字体的最小字号，默认4号

>>>w = wordcloud.WordCloud(min_font_size = 10)

max_font_size 指定词云中字体的最大字号，根据高度自动调节

>>>w = wordcloud.WordCloud(max_fon_size = 20)

font_step 指定词云中字体字号的步进间隔，默认1

>>>w = wordcloud.WordCloud(font_step=2)

font_path 指定字体文件路径，默认None

>>>w = wordcloud.WordCloud(font_path='msyt.ttc')

max_words 指定词云显示最大单词数量，默认200

>>>w = wordcloud.WordCloud(max_words)

stop_words 指定词云的排除词列表，既不显示的单词列表

>>>w = wordcloud.WordCloud(stop_words={'Python','hello'})

mask 指定词云形状，默认长方形，需要引用imread()函数

>>>from scipy.misc import imread

>>>mk = imread('pic.png')

>>>w = wordcloud.WordCloud(mask = mk)

background_color 指定词云图片的背景颜色，默认黑色

>>>w = wordcloud.WordCloud(background_color='white')

import jieba    #中文分词库
import worcloud
txt = '世间的路有很多很多，不同的路指向不同的方向，有的指向繁花似锦的东方明珠，\
有的指向绵延人迹得塔克拉玛干沙漠。有些路车水马龙，有些路万径人踪灭，\
千山鸟飞绝如图，没有绝对的真理，没有绝对的阳光大道，我始终相信，\
一帆风顺只是美好的愿望，坎坷曲折才能展示人生的精彩。'
#设置词云宽度，字体，高度
w = wordcloud.WordCloud (width = 1000,font_path = 'msyh.ttc',height = 700)w.generate(' ',join(jieba.lcut(txt))) #利用jieba.lcut()分词,然后用.join添加空格，加入到对象中
w.to_file('pywcloud.png')  #输出到图片

import jieba    #中文分词库
import wordcloud
import imageio
mask = imageio.imread('wujiaoxin.png') #应用自定义形状的图片
txt = '世间的路有很多很多，不同的路指向不同的方向，有的指向繁花似锦的东方明珠，\
有的指向绵延人迹得塔克拉玛干沙漠。有些路车水马龙，有些路万径人踪灭，\
千山鸟飞绝如图，没有绝对的真理，没有绝对的阳光大道，我始终相信，\
一帆风顺只是美好的愿望，坎坷曲折才能展示人生的精彩。'
#设置词云宽度，字体，高度
w = wordcloud.WordCloud (width = 1000,font_path = 'msyh.ttc',height = 700\,mask = mask \   #添加自定义形状,max_words = 15\  #指定最大单词数量15,background_color='white') #设置背景颜色白色w.generate(' '.join(jieba.lcut(txt))) #利用jieba.lcut()分词,然后用.join添加空格，加入到对象中
w.to_file('pywcloud.png')  #输出到图片