python获取豆瓣高分电影写入MYSQL+matplotlib简单可视化

获取豆瓣高分电影（500部）写入MySQL数据库:

我是一名python开发工程师，整理了一套python的学习资料，从基础的python脚本到web开发、爬虫、
数据分析、数据可视化、机器学习、面试真题等。想要的可以进群：688244617免费领取#-*-coding:UTF-8-*-
import requests
import json
import pymysql
from lxml import etreedef GetWriteData(url,num):conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='mydata')cursor = conn.cursor()cursor.execute("DROP TABLE IF EXISTS db")  #如果db Base存在则删除cursor.execute('create table db ( id int(5) primary key, pname varchar(255), pf varchar(10) ,plnum int(10),zhpf int(10))')i = 0while i < num:html = requests.get(url + str(i))if '异常请求' in html.text:print('请求过于频繁，请稍后再试！')breaktext = json.loads(html.text[12:-1])i += 20print(i,round(i/20))for j in text:try:s = requests.get(j['url'])except:print('访问异常')else:ehtml = etree.HTML(s.text)nu = int(''.join(ehtml.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/div/div[2]/a/span/text()')))zhpf=round(float(nu /10000 * 0.5)) + round(float(j['rate']) * 2)cursor.execute('INSERT INTO db(id,pname,pf,plnum,zhpf) values (%s, %s, %s ,%s,%s) ',[k,j['title'],j['rate'],nu,zhpf])cursor.rowcountconn.commit()cursor.close()conn.close()print('任务结束。')if __name__ == '__main__':url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=豆瓣高分&sort=recommend&page_limit=20&page_start='print('开始获取,请稍候...')GetWriteData(url,500)  # 500为获取影片数量

matplotlib简单可视化：

import pymysql
import matplotlib.pyplot as plt
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='mydata',cursorclass = pymysql.cursors.DictCursor)
cursor = conn.cursor()
cursor.execute('select * from mydata.db order by zhpf desc;')
values = cursor.fetchall()
cursor.close()
conn.close()
namedata=[]
zhpf=[]
n=0
for i in values:if n>20:breaknamedata.append(i['pname'])zhpf.append(i['zhpf'])n+=1
plt.rcParams["font.sans-serif"]=["SimHei"]
plt.rcParams["axes.unicode_minus"]=False
plt.barh(y=namedata, width=zhpf, label='综合评分',color='steelblue', alpha=0.8, height=0.8)
for y, x in enumerate(zhpf):plt.text(x+2, y-0.4, '%s' % x, ha='center', va='bottom')
plt.xlabel("分值")
plt.ylabel("片名")
plt.legend()
plt.show()

以上就是本文的全部内容，觉得文章还不错的话不妨收藏起来慢慢看，有任何建议或看法欢迎大家在评论区分享讨论！

python获取豆瓣高分电影写入MYSQL+matplotlib简单可视化相关推荐

python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存入文档。
题目: 获取豆瓣TOP250电影的中英文名.港台名.导演.上映年份.电影分类以及评分,将数据存入文档. 代码: import codecs import csv import refrom reque ...
使用Python获取春节档电影影评，制作可视化词云图
Python获取春节档电影影评,制作可视化词云图前言准备工作采集数据部分基本思路流程代码实战可视化词云图代码展示效果展示前言春节电影听巳月说都还可以,我不信,我觉得还是要看看看过的 ...
python获取网页数据后写入mysql_HTTP协议与使用Python获取数据并写入MySQL
一.Http协议二.Https协议三.使用Python获取数据 (1)urlib (2)GET请求 (3)POST请求四.爬取豆瓣电影实战 1.思路 (1)在浏览器中输入https://movi ...
python获取豆瓣电影
打开豆瓣,点击选电影到这里你会发现很简单,直接用xpath不久很容易获取到电影名及评分了吗.其实我们看到的页面是经js渲染过的,真正数据的网页在⬇ 当你点击加载更多时,会发现这个网址的前部分不变,0 ...
python爬虫获取豆瓣TOP25电影名称和评分
import requests import lxml.html myheaders = {"User-Agent": "Mozilla/5.0 (Windows NT ...
python大规模获取豆瓣影评_Python 获取豆瓣用户电影收藏数据
通过豆瓣API获取用户的影评信息,存入到字典中格式为 {电影名:评分} # -*- coding: utf-8 -*- ''' Created on May 19, 2012 @author: Edi ...
python读取excel文件数据写入MySQL数据库（入门级）
写入前准备 1.window电脑提前安装好MySQL 2.知道自己MySQL的密码和用户名 3.提前建好要写入的数据库和数据表 1.首先测试写入一条数据进去MySQL在尝试批量写入 1.1第一数据类型 ...
python电影数据分析报告_【python数据分析实战】电影票房数据分析(二)数据可视化...
在上一部分<[python数据分析实战]电影票房数据分析(一)数据采集> 已经获取到了2011年至今的票房数据,并保存在了mysql中. 本文将在实操中讲解如何将mysql中的数据抽取出来 ...
python爬取电影评分_Python爬取豆瓣高分电影前250名
import requests import pymysql import time import re import xlwt from lxml import etree headers = {' ...
python获取并解析电影评分Top 250的电影名称、评分和电影类型，并统计分析出哪些电影类型占比居多（最终结果显示剧情类型的电影占比最多）
一.实现目标 python编写一个简易的爬虫程序,获取电影有史以来的电影评分最高的前250部电影的名称和评分,获取的数据存储到exce文件中.之后统计分析出哪些电影类型占比居多. 二.实现 ...

python获取豆瓣高分电影写入MYSQL+matplotlib简单可视化

python获取豆瓣高分电影写入MYSQL+matplotlib简单可视化相关推荐

最新文章

热门文章