爬取男神or女神图片(爬虫案例二)

1.通过百度搜索引擎找到自己的男神or女神,获得请求网页
2.解析网页
3.下载男神or女神到指定文件夹

代码如下:

# -*- coding: utf-8 -*-
"""根据搜索词下载百度图片"""
import re
import sys
import urllib
import os
import requestsdef get_onepage_urls(onepageurl):"""获取单个翻页的所有图片的urls+当前翻页的下一翻页的url"""if not onepageurl:print('已到最后一页, 结束')return [], ''try:html = requests.get(onepageurl)html.encoding = 'utf-8'html = html.textexcept Exception as e:print(e)pic_urls = []fanye_url = ''return pic_urls, fanye_urlpic_urls = re.findall('"objURL":"(.*?)",', html, re.S)fanye_urls = re.findall(re.compile(r'<a href="(.*)" class="n">下一页</a>'), html, flags=0)fanye_url = 'http://image.baidu.com' + fanye_urls[0] if fanye_urls else ''return pic_urls, fanye_urldef down_pic(pic_urls):# homedir = os.getcwd() 获取当前项目文件# os.mkdir(homedir + '\pic')    在当前项目文件夹下创建文件pic"""给出图片链接列表, 下载所有图片"""for i, pic_url in enumerate(pic_urls):try:pic = requests.get(pic_url, timeout=15)string = str(i + 1) + '.jpg'with open(path + string, 'wb') as f:f.write(pic.content)print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))except Exception as e:print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))print(e)continueif __name__ == '__main__':path = 'D:/女神/'    # 指定下载文件夹keyword = '王祖贤'  # 关键词, 改为你想输入的词即可, 相当于在百度图片里搜索一样url_init_first = r'http://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1497491098685_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1497491098685%5E00_1519X735&word='url_init = url_init_first + urllib.parse.quote(keyword, safe='/')all_pic_urls = []onepage_urls, fanye_url = get_onepage_urls(url_init)all_pic_urls.extend(onepage_urls)fanye_count = 0  # 累计翻页数while 1:onepage_urls, fanye_url = get_onepage_urls(fanye_url)fanye_count += 1# print('第页' % str(fanye_count))if fanye_url == '' and onepage_urls == []:breakall_pic_urls.extend(onepage_urls)down_pic(list(set(all_pic_urls)))

爬取男神or女神图片(爬虫案例二)相关推荐

原神2.0宅男福利！爬虫实战，爬取原神真人cos图片并保存，谁的老婆快抱走
目录前言项目介绍多的我就不说了,源代码附有详细说明前言激动的心,颤抖的手,老婆你们谁没有? (图片来源于米游社) 7月21号<原神>2.0发布,大家更新了吗? 更新内容一览: 1 ...
宅男福利！爬虫实战，爬取原神真人c图片并保存，谁的老婆快抱走
<原神>2.0发布,大家更新了吗? 更新内容一览: 1.稻妻城:稻妻城和六大岛屿相连,目前新的岛屿只是其中三个; 2.家园系统更新:会新增植物,种植系统; 3.主要登场人物:八重神子.珊瑚 ...
爬取偶像/私房小姐姐图片--爬虫基础篇
1.废话不多说,直接上源码,有注释,相信你们能看懂 """ objective:爬取任意偶像/单词的百度图片(eg:佟丽娅.清纯小姐姐.蔡徐坤) coding: UTF- ...
天猫爬虫--爬取天猫评论中的图片
毕业设计做的是基于电商的评论图片爬取,本次以天猫NIKE网店为爬取对象, 链接为:点击打开链接首先按F12打开火狐浏览器的流量监控工具,点击网络,然后依次点击累计评论.图片,显示含有图片的评论,经过 ...
python爬虫实例手机_Python爬虫实现爬取京东手机页面的图片(实例代码)
实例如下所示: __author__ = 'Fred Zhao' import requests from bs4 import BeautifulSoup import os from urllib ...
python爬虫网页中的图片_Python爬虫爬取一个网页上的图片地址实例代码
本文实例主要是实现爬取一个网页上的图片地址,具体如下. 读取一个网页的源代码: import urllib.request def getHtml(url): html=urllib.request. ...
Python爬虫-爬取快看漫画网图片并拼接成漫画长图
Python爬虫-爬取快看漫画网图片并拼接成漫画长图 1.爬取图片 2.拼接图片 1.爬取图片 import os import requests from bs4 import BeautifulS ...
爬虫实战5：爬取全部穿越火线武器的图片以武器名称命名保存到本地文件
申明:资料来源于网络及书本,通过理解.实践.整理成学习笔记. 文章目录穿越火线官网完整代码运行结果穿越火线官网完整代码 import requests# 循环33次,官网武器库展示有33页 ...
python3爬虫爬取百度贴吧下载图片
python3爬虫爬取百度贴吧下载图片学习爬虫时没事做的小练习. 百度对爬虫还是很友好的,在爬取内容方面还是较为容易. 可以方便各位读者去百度贴吧一键下载每个楼主的图片,至于是什么类型的图片,就看你 ...
【爬虫初出茅庐】爬取并下载想要图片源码分析 + 分享
先上效果图. 如搜取并下载[鬼灭之刃]和[刀剑神域]相关图片相关过程分析: (PS:因为刚学爬虫没几天,若大佬发现有什么问题欢迎指正) 这里爬取的网站是免费提供图片的51贴图.若光爬取单一或者连续网 ...

爬取男神or女神图片(爬虫案例二)

爬取男神or女神图片(爬虫案例二)相关推荐

最新文章

热门文章