python爬取豆瓣图片

# 爬取豆瓣碟中谍图片
import requests
from bs4 import BeautifulSoup
# python3 中的urllib没有下载方法urlretrieve，这里需要引入 urllib.request ，调用urllib.request的urlretrieve方法进行下载。
import urllib.request
import time
import os
url = "https://movie.douban.com/subject/26336252/celebrities"
head = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"}
res = requests.get(url, headers = head)
res.encoding = "utf-8"
# print(res.text)
soup = BeautifulSoup(res.text,"lxml")
# fileurl = "e:\pythonFile\碟中谍\\"
# if os.path.exists(fileurl) == False:
#     os.mkdir(fileurl)
# with open(fileurl+"dzd.txt","w+",encoding = "utf-8-sig") as f:
#     f.write(res.text)
plists = soup.select(".celebrity")
print(len(plists))
dataList = []
for plist in plists:print(plist.select("a")[0]["title"]+"------"+plist.select("div")[0]["style"][22:-1])temp = (plist.select("a")[0]["title"].strip(),plist.select("div")[0]["style"][22:-1])dataList.append(temp)
# 创建文件夹，将图片下载到文件夹中
picDir = "e:\pythonFile\碟中谍图片\\"
if os.path.exists(picDir) == False:os.makedirs(picDir)
index = 1
for a,b in dataList:urllib.request.urlretrieve(b,picDir+a+".png")print("下载第"+str(index)+"个")index = index + 1time.sleep(0.01)

python爬取豆瓣图片相关推荐

python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...
python爬取豆瓣读书并进行图形化分析
python爬取豆瓣读书并进行图形化分析豆瓣读书网页数据爬取并保存至csv 对数据进行分析并汇成图形绘制散点图图形效果展示以下代码内容大多是团队小伙伴的杰作,而本人只是为了能让更多的人学习到知 ...
python爬取豆瓣电影top250_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
详解使用Python爬取豆瓣短评并绘制词云
使用Python爬取豆瓣短评并绘制词云成果如下(比较丑,凑合看) 1.分析网页打开想要爬取的电影,比如<找到你>,其短评如下: 查看源代码发现短评存放在<span>标签里 ...
Python爬取豆瓣《复仇者联盟3》评论并生成乖萌的格鲁特
代码地址如下: http://www.demodashi.com/demo/13257.html 1. 需求说明本项目基于Python爬虫,爬取豆瓣电影上关于复仇者联盟3的所有影评,并保存至本地文件 ...
python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
python 爬取豆瓣top100电影页面
python 爬取豆瓣top100电影页面运行结果截图: 代码: (原网站:https://movie.douban.com/top250) 1.将页面保存避免多次访问 (登陆状态需页面cooki ...
利用python爬取豆瓣电影top250
利用python爬取豆瓣电影top250: 注:本内容只是作为个人学习记录 1.业务分析进入网页https://movie.douban.com/top250 可以看见每部电影都呈现在眼前,点击电影 ...
Python爬取豆瓣电影top250的电影信息
Python爬取豆瓣电影top250的电影信息前言一.简介二.实例源码展示小结前言相信很多小伙伴在学习网络爬虫时,老师们会举一些实例案例讲解爬虫知识,本文介绍的就是经典爬虫实际案例–爬取豆 ...

python爬取豆瓣图片

python爬取豆瓣图片相关推荐

最新文章

热门文章