# encoding:utf-8
# 导入库-------------------------------
import requests
import pandas as pd
import math
import re
import jieba
from collections import Counter
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import random
import matplotlibmatplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
import sklearn
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
import matplotlib.pyplot as plt
import matplotlib
from sklearn.feature_extraction.text import TfidfVectorizermatplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
import random
import numpy as np
import matplotlib.mlab as mlab
import matplotlib.pyplot as plt
from collections import Counterfrom pyecharts.charts import * # 图表
from pyecharts.components import Table # 表格
from pyecharts import options as opts # 配置
from pyecharts.commons.utils import JsCode
import random # 随机数
import datetime #时间
from pyecharts.charts import Pie
from pyecharts.charts import Pagedef bing_tu(label_list, size, title_name, figsize_x):""""# 饼图label_list = ["第一部分", "第二部分", "第三部分"]size = [55, 35, 10]    # 各部分大小"""def make_autopct(values):def my_autopct(pct):total = sum(values)val = int(round(pct * total / 100.0))# 同时显示数值和占比的饼图return '{p:.2f}%  ({v:d})'.format(p=pct, v=val)return my_autopctcolor = []colors = ["red", "green", "blue", "yellow"]  # 各部分颜色while len(color) < len(label_list):color.append(colors[random.randint(0, 3)])# explode = [0.05, 0, 0]   # 各部分突出值fig = plt.figure(figsize=(figsize_x, figsize_x))plt.subplot(131)plt.title(title_name)plt.pie(size, labels=label_list, labeldistance=1.2, autopct=make_autopct(size))# plt.savefig("barChart.jpg")plt.show()def zhu_zhuang_tu(label_list, size, title_name, y_name, x_name):"""# 柱状图label_list = ["第一部分", "第二部分", "第三部分"]size = [55, 35, 10]    # 各部分大小"""fig = plt.figure()plt.bar(label_list, size, 0.5, color="green")plt.xlabel(x_name)plt.ylabel(y_name)plt.title(title_name)# plt.savefig("barChart.jpg")plt.show()def tiaoxing_zhuzhangtu(labels, values):"""# 横向的柱状图# labels=['体育和娱乐业', '批发和零售业', '租赁和商务服务业', '建筑业']# values=[251, 316, 52, 45]"""plt.barh(labels, values)  # 以时间为纵轴，收盘价为高度绘制横向条形图plt.show()def quxiantu(x, y):"""# 曲线图y=[1,5,2,6,8,9]x=[1,2,3,4,5,6]"""plt.xlabel('日期', fontsize=8)plt.ylabel('价格', fontsize=8)# plt.plot(x_low,datasz_low,label='最高价',color="r")plt.plot(x, y, label='最低价', color="y")plt.title("上证指数最高价和最低价曲线图")plt.show()return 0def pyecharts_bingtu(x,y):"""x = ["直接访问", "邮件营销", "联盟广告", "视频广告", "搜索引擎"]y = [335, 310, 274, 235, 400] 要求必须是整数"""c = (Pie().add("", [list(z) for z in zip(x, y)])  # zip函数两个部分组合在一起list(zip(x,y))-----> [(x,y)].set_global_opts(title_opts=opts.TitleOpts(title="2022年1月天津市流流出口分析柱状图", pos_left="center"))  # 标题.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))  # 数据标签设置)c.render_notebook()c.render(path=r"pyecharts_bingtu_饼图_bar.html")def pyecharts_zhuzhuangtu(x, y):"""x = ["直接访问", "邮件营销", "联盟广告", "视频广告", "搜索引擎"]y = [335, 310, 274, 235, 400] 要求必须是整数"""bar = Bar()  # 初始化图表bar.add_xaxis(x)  # x轴bar.add_yaxis('数目', y)  # y轴bar.set_global_opts(title_opts=opts.TitleOpts(title="天津市流入人口分析柱状图"))bar.render(path=r"pyecharts_zhuzhuangtu_柱状图_bar.html")def plt_picture_ciyun(n):"""词云传入的n是:我 老婆 走 了 四年 总会 不经意 想起 那 感觉 没 经历 的 很 难 体会"""wc = WordCloud(# 设置字体，不指定就会出现乱码font_path='simhei.ttf',# 设置背景色background_color='white',# 设置背景宽width=500,# 设置背景高height=350,# 最大字体max_font_size=50,# 最小字体min_font_size=10,mode='RGBA'# colormap='pink')# 产生词云wc.generate(n)# 显示图片# 指定所绘图名称plt.figure("jay")# 以图片的形式显示词云plt.imshow(wc)# 关闭图像坐标系plt.axis("off")# 保存词云图片# plt.savefig("2209070221.png")plt.show()def re_pipei_word(text):"""正则提取文本的汉字text = "也像疼111WWW%%    __""""res = re.findall('[\u4e00-\u9fa5]', str(text))# print(res) #['也', '像', '疼']# print("".join(res)) 也像疼return "".join(res)def jieba_cut_word(text):"""jieba分词text=滴滴代驾不靠谱，在司机端总是接不到单子"""res1 = jieba.lcut("滴滴代驾不靠谱，在司机端总是接不到单子。", cut_all=False)  # 不存在多余词# ['滴滴', '代驾', '不靠', '谱', '，', '在', '司机', '端', '总是', '接', '不到', '单子', '。']res2 = jieba.lcut("今天空车返回，在路上遇到行政执法，平台不派单。", cut_all=True)  # 有多余词# ['今天', '天空', '空车', '返回', '，', '在', '路上', '遇到', '行政', '执法', '，', '平台', '不', '派', '单', '。']return res1def dict_sort(dic):"""字典排序"""count = sorted(dic.items(), key=lambda x: x[1], reverse=True)  # True 是降序 False是升序return countdef tfidf_word(corpus):"""tfodf 提取关键词：import sklearnfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import TfidfVectorizercorpus = ['TF-IDF 主要 思想 是', '算法 一个 重要 特点 可以 脱离 语料库 背景','如果 一个 网页 被 很多 其他 网页 链接 说明 网页 重要','原始 文本 进行 标记','主要 思想']"""vectorizer = TfidfVectorizer()X = vectorizer.fit_transform(corpus)data = {'word': vectorizer.get_feature_names_out(),'tfidf': X.toarray().sum(axis=0).tolist()}df = pd.DataFrame(data)df = df.sort_values(by='tfidf', ascending=True)  # True是从小达到 False是从大到小res = {}for i in df.values:res[i[0]] = i[1]# print(res){'链接': 0.2556396904397093, '说明': 0.2556396904397093...}return resdef tongci_count(data):"""from collections import Counter列表统计data是一个列表"""res = dict(Counter(data))return res