Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评

输出结果

实现代码

输出结果

实现代码

# -*- coding: utf-8 -*-#Py之Crawler：利用BeautifulSoup库实现爬取2018最新电影《后来的我们》热门短评
import time
import requests
import csv
from bs4 import BeautifulSoup
head = 'https://movie.douban.com/subject/'
middle = '/comments?start='
zr_tail = '&limit=20&sort=new_score&status=P&percent_type='
names = []
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'
}zr_urls = ['最热']
def createUrls(): for j in range(1, 34, 2): name = names[j]#print(name)for i in range(0, 100, 20):zr_urls.append(head + str(name) + middle + str(i) + zr_tail) #print(zr_urls)得到某个电影短评地址(默认最热排序)，如https://movie.douban.com/subject/27063335/comments?start=0&limit=20&sort=new_score&status=P&percent_type=def readName(): with open('爬取电影名称.txt', mode='r', encoding='utf-8') as f:for i in f.readlines():i = i.strip('\n')names.append(i)#print(names)
readName()
createUrls()
get_comments(zr_urls)  #传入zr_urls

完整代码，后续一周内即将公布！

相关文章：Py之PIL：不一样的PS之利用PIL库的img.paste方法实现合成刘若英导演电影《后来的我们》海报设计

Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评相关推荐

爬虫练习（1）-- 爬取豆瓣最新电影
准备工作本次爬取的移动手机端的接口.我们可以使用 Google 浏览器自带的调试模式去做切换.可能会出现切换了手机模式,只是变成了一个手机浏览器的形式,不是真正的移动端接口.一种解决方案是先切换为 ...
Crawler：基于urllib+requests库+伪装浏览器实现爬取国内知名招聘网站，上海地区与机器学习有关的招聘信息(2018.4.30之前)并保存在csv文件内
Crawler:基于urllib+requests库+伪装浏览器实现爬取国内知名招聘网站,上海地区与机器学习有关的招聘信息(2018.4.30之前)并保存在csv文件内目录输出结果设计思路核心 ...
Python爬虫笔记之用BeautifulSoup及requests库爬取
这次要爬取的是一个壁纸网站wallhaven,里面有很多用户上传的高清壁纸分享.点击进去会出现一个搜索页面,输入dota2,这就得到了我们要爬取的第一个url:"https://alpha. ...
爬虫系列（1）：极简爬虫——基于requests和re爬取安居客上海二手房价数据
爬虫系列(1):极简爬虫--基于requests和re爬取安居客上海二手房价数据入坑爬虫已经有一年多,一直想好好记录下从各位前辈和大佬处学到的技术,因此开了一个爬虫系列,想借此细致地介绍和演示其中的 ...
Python中第三方库Requests库的高级用法详解
Python中第三方库Requests库的高级用法详解虽然Python的标准库中urllib2模块已经包含了平常我们使用的大多数功能,但是它的API使用起来让人实在感觉不好.它已经不适合现在的时代, ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
基于golang的爬虫demo，爬取微博用户的粉丝和关注者信息
基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息注意:仅供学习交流,任何非法使用与作者无关! 目录基于golang的爬虫demo,爬取微博用户的粉丝和关注者信息一.背景与取材二. ...
Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析
爬取过程在这里: Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析. 依赖库: 豆瓣镜像比较快: ...
python爬取微博用户正文_基于Python的新浪微博用户信息爬取与分析
基于 Python 的新浪微博用户信息爬取与分析邓文萍 [摘要] 摘要:本文设计并实现了一个微博用户信息爬取与分析系统 , 利用 Cookie 实现了用户的模拟登录 , 使用 Python 语言的 ...

Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评

输出结果

实现代码

Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评相关推荐

最新文章

热门文章