python爬虫-爬妹子图

# 爬妹子图(对象化)
import requests
from bs4 import BeautifulSoup
import osclass mzitu():def __init__(self):self.headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"}def all_url(self, url):html = self.request(url)##调用request函数把套图地址传进去会返回给我们一个responseall_a = BeautifulSoup(html.text, 'lxml').find('ul', class_='archives').find_all('a')for a in all_a:title = a.get_text()old = '早期图片'if title ==old:continueprint(u'开始保存：', title) ##加点提示不然太枯燥了path = str(title).replace("?", '_') ##我注意到有个标题带有 ？  这个符号Windows系统是不能创建文件夹的所以要替换掉self.mkdir(path) ##调用mkdir函数创建文件夹！这儿path代表的是标题title哦！！！！！不要糊涂了哦！href = a['href']self.html(href) ##调用html函数把href参数传递过去！href是啥还记的吧？ 就是套图的地址哦！！不要迷糊了哦！def html(self, href):   ##这个函数是处理套图地址获得图片的页面地址html = self.request(href)self.headers['referer'] = hrefmax_span = BeautifulSoup(html.text, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].get_text()for page in range(1, int(max_span) + 1):page_url = href + '/' + str(page)self.img(page_url) ##调用img函数def img(self, page_url): ##这个函数处理图片页面地址获得图片的实际地址img_html = self.request(page_url)img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']self.save(img_url)def save(self, img_url): ##这个函数保存图片name = img_url[-9:-4]img = self.request(img_url)f = open(name + '.jpg', 'ab')f.write(img.content)f.close()def mkdir(self, path): ##这个函数创建文件夹path = path.strip()isExists = os.path.exists(os.path.join("G:\mzitu", path))if not isExists:print(u'建了一个名字叫做', path, u'的文件夹！')os.makedirs(os.path.join("G:\mzitu", path))os.chdir(os.path.join("G:\mzitu", path)) ##切换到目录return Trueelse:print(u'名字叫做', path, u'的文件夹已经存在了！')return Falsedef request(self, url): ##这个函数获取网页的response 然后返回content = requests.get(url, headers=self.headers)return contentMzitu = mzitu() ##实例化
Mzitu.all_url('http://www.mzitu.com/all') ##给函数all_urlurl传入参数  你可以当作启动爬虫（就是入口）

python爬虫-爬妹子图相关推荐

python爬虫-爬妹子图_Python 爬虫入门之爬取妹子图
Python 爬虫入门之爬取妹子图来源:李英杰链接: https://segmentfault.com/a/1190000015798452 听说你写代码没动力?本文就给你动力,爬取妹子图.如果 ...
python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！
前言大家好,这里是「brucepk」爬虫系列教程.此系列教程以实例项目为材料进行分析,从项目中学习 python 爬虫,跟着我一起学习,每天进步一点点. 煎蛋网站 image 很多朋友都反应学 p ...
在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有文章存放在以其名字命名的文件内,代码如下 #coding:utf-8import urlli ...
python网易云_用python爬虫爬取网易云音乐
标签: 使用python爬虫爬取网易云音乐需要使用的模块只需要requests模块和os模块即可开始工作先去网易云音乐网页版找一下你想要听的歌曲点击进去.按键盘F12打开网页调试工具,点击Ne ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...

python爬虫-爬妹子图

python爬虫-爬妹子图相关推荐

最新文章

热门文章