爬取豆瓣电影排名代码
urllib.request爬取电影排名,复制以下代码可以直接执行:
-- coding:utf-8 --
import urllib
import urllib.request
import time
import json
import re
url = “https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action”
headers = {“User-Agent” : “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36”}
formdata = {
“start”:“0”,
“limit”:“20”
}
data = urllib.parse.urlencode(formdata).encode(“utf-8”)
request = urllib.request.Request(url, data = data, headers = headers)
dd=urllib.request.urlopen(request).read()
s=dd.decode(‘utf-8’) #bytes转普通字符串
#print(s)
data2=json.loads(s) #将json字符串转换成python对象,在这里转换成了list
print(data2[0][“title”])
#“rating”:[“9.6”,“50”]
#“title”:“肖申克的救赎”,
pattern1=re.compile(r’“rating”:["(.?)","\d+"]’,re.I) #获取电影得分
pattern2=re.compile(r’“title”:"(.?)"’,re.I) #获取电影名字
data1=pattern1.findall(s)
data2=pattern2.findall(s)
for x in range(len(data1)):
print(“排名:”+str(x+1)+“电影名:”,data2[x],“豆瓣得分:”+data1[x])
爬取豆瓣电影排名代码相关推荐
- python 爬取豆瓣电影排名
python 爬取豆瓣电影排名 任务要求 获取豆瓣电影排名前250信息 打包进文件夹 代码展示 代码如下 import requests#导入requests库 import redef GetHtm ...
- python爬虫(一)爬取豆瓣电影排名前50名电影的信息
python爬虫(一)爬取豆瓣电影排名前50名电影的信息 在Python爬虫中,我们可以使用beautifulsoup对网页进行解析. 我们可以使用它来爬取豆瓣电影排名前50名的电影的详细信息,例如排 ...
- 利用正则表达式爬取豆瓣电影排名
利用正则表达式爬取豆瓣电影排名 一/正则表达式 二/用正则表达式爬取豆瓣top250 一/正则表达式 很多不太懂正则的朋友,在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求 ...
- python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
- python爬取豆瓣电影top250_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
- 第一次练手爬取豆瓣电影排名top250
从b站看了如何爬取豆瓣电影top250的视频,就是跟着练习实现了,就把代码贴了一下. from bs4 import BeautifulSoup #网页解析,获取数据 import re #正则表达式 ...
- 爬取豆瓣电影排名前250部电影并且存入Mongo数据库
2019独角兽企业重金招聘Python工程师标准>>> 需求:爬取豆瓣电影top250(https://movie.douban.com/top250)的电影数据: 标题(title ...
- BeautifulSoup爬取豆瓣电影排名
豆瓣电影排名网址:https://movie.douban.com/top250?start=0&filter= 在进去豆瓣电影排名后,打开浏览器的检查功能分析爬取页面源代码,在写请求代码之前 ...
- 2020-爬虫学习-实战练习:爬取豆瓣电影排名前25部的电影信息
前言: 在开始本文之前,我非常建议先学习下我写的第一篇爬虫练习的文章:https://blog.csdn.net/hahameier/article/details/110558398,里面有涉及到一 ...
最新文章
- 面试数百名NLP工程师发现:90%以上是不合格的
- Mybatis的parameterType传入多个参数
- php字符串类型讲解
- firefox下几个实用的免费开发插件
- python split(), os.path.split()和os.path.splitext()函数的区别
- 用友U8 归纳采购退货结算三种情况
- 学长毕业日记 :本科毕业论文写成博士论文的神操作
- Extjs4前端开发代码规范参考
- 【数据结构与算法】顺序表V2.0的Java实现
- 51单片机的LED的位定义(通俗易懂)
- Ubuntu“ System Program Problem Detected”问题
- 使用IIS Live Smooth Streaming技术搭建流媒体直播系统
- python接口自动化3-自动发帖(session)
- sql server
- 微信对账单接口返回值解析
- 微信开通检测无需等待准确高的软件
- android游戏开发系列(2)——背景音乐播放技术
- Java学习 10-布尔型变量的使用以及输出字符串的提示
- OpenHarmony学习笔记——I2C驱动0.96OLED屏幕
- ios 打印 详细错误日志_iOS中打印系统详细日志
热门文章
- 关于postgresql中with 临时表的使用,筛选出来当天温度比昨天温度高的数据
- 《Photoshop Lightroom4 经典教程》—第2课2.4节使用左侧和右侧面板组
- 物联网、大数据、云计算的区别与联系
- 你见过的最难的编程语言是什么?
- LeetCode高频题:戈壁滩种树,一排n棵树,至少有k棵树存活时,最终形成的风景线有多少不同的情况
- OC-accessibility
- 深圳内推 | 华为诺亚方舟实验室招聘自动驾驶视觉感知算法实习生
- IOS开发之——网络-视频播放-JSON解析(11)
- Robotics ToolBox机械臂仿真
- Verilog第五章