RosimmImage

爬取Rosimm写真网站图片

有图有真相

def main_start(url):"""爬虫入口，主要爬取操作"""try:r = requests.get(url+'.html', headers=HEADERS, timeout=10).textprint(url+'.html')name_index = 0# 套图名，也作为文件夹名folder_name = BeautifulSoup(r, 'lxml').find('h1',class_='article-title').find('a').text.encode('ISO-8859-1').decode('utf-8')with lock:if make_dir(folder_name):# 套图张数max_count = BeautifulSoup(r, 'lxml').find('div',class_='pagination2').find_all('li')[-2].find('a').get_text()print('-------max_count-----'+max_count)# 套图页面page_urls=[]for i in range(1,(int(max_count)+1)):if i==1:page_urls.append(url + '.html')else:page_urls.append(url + '_' + str(i)+'.html')# 图片地址for index, page_url in enumerate(page_urls):print('-----page_url-----'+page_url)result = requests.get(page_url, headers=HEADERS, timeout=10).textimg_url=BeautifulSoup(result,'lxml').find('article',class_='article-content').find_all('img')for s_img_url in img_url:real_img='http://www.rosimm8.com'+s_img_url.get('src')print('-----real_img-----'+real_img)name_index=name_index+1save_pic(real_img,name_index)except Exception as e:print(e)

全部代码传送门：https://github.com/SiberiaDante/RosimmImage

仅供学习参考使用

转载于:https://www.cnblogs.com/shen-hua/p/9261625.html

Python轻松爬取Rosimm写真网站全部图片相关推荐

python最新官网图片_Python轻松爬取Rosimm写真网站全部图片
RosimmImage 有图有真相 def main_start(url): """ 爬虫入口,主要爬取操作 """ try: r = re ...
Python爬虫爬取美女写真实例
Python爬虫爬取美女写真实例微信关注公众号:夜寒信息致力于为每一位用户免费提供更优质技术帮助与资源供给,感谢支持! 这是我写的一个较为简单的爬虫代码,用于爬取美女写真(咳咳,当然是正规 ...
python爬表情包_教你用Python来爬取表情包网站的所有表情图片
教你用Python来爬取表情包网站的所有表情图片配置环境安装Python 开发环境 3X系列 win + R 打开运行,输入cmd,输入python,进行验证是否安装Python win + R ...
详细实例：用python爬虫爬取幽默笑话网站！（建议收藏）
前言: 今天为大家带来的内容是详细实例:用python爬虫爬取幽默笑话网站!(建议收藏),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下! 爬取网站为 ...
Python爬虫-爬取快看漫画网图片并拼接成漫画长图
Python爬虫-爬取快看漫画网图片并拼接成漫画长图 1.爬取图片 2.拼接图片 1.爬取图片 import os import requests from bs4 import BeautifulS ...
Python爬虫爬取伯乐在线网站信息
一.环境搭建 1.创建环境执行pip install scrapy安装scrapy 使用scrapy startproject ArticleSpider创建scrapy项目使用pycharm导入 ...
python每隔一段时间保存网页内容_利用Python轻松爬取网页题库答案！教孩子不怕尴尬了！...
大家有没有遇到这种令人尴尬的情况:"好不容易在网上找到需要的资源数据,可是不容易下载下来!"如果是通过一页一页的粘贴复制来下载,真的让人难以忍受,特别是像我这种急性子,真得会让人窒 ...
python爬取学校题库_利用Python轻松爬取网页题库答案！教孩子不怕尴尬了！
大家有没有遇到这种令人尴尬的情况:"好不容易在网上找到需要的资源数据,可是不容易下载下来!"如果是通过一页一页的粘贴复制来下载,真的让人难以忍受,特别是像我这种急性子,真得会让人窒 ...
Python爬虫爬取美剧网站
一直有爱看美剧的习惯,一方面锻炼一下英语听力,一方面打发一下时间.之前是能在视频网站上面在线看的,可是自从广电总局的限制令之后,进口的美剧英剧等貌似就不在像以前一样同步更新了. 但是,作为一个宅dia ...

Python轻松爬取Rosimm写真网站全部图片

RosimmImage

爬取Rosimm写真网站图片

有图有真相

Python轻松爬取Rosimm写真网站全部图片相关推荐

最新文章

热门文章