python最新官网图片_Python轻松爬取Rosimm写真网站全部图片

RosimmImage

有图有真相

def main_start(url):

"""

爬虫入口，主要爬取操作

"""

try:

r = requests.get(url+'.html', headers=HEADERS, timeout=10).text

print(url+'.html')

name_index = 0

# 套图名，也作为文件夹名

folder_name = BeautifulSoup(r, 'lxml').find(

'h1',class_='article-title').find('a').text.encode('ISO-8859-1').decode('utf-8')

with lock:

if make_dir(folder_name):

# 套图张数

max_count = BeautifulSoup(r, 'lxml').find(

'div',class_='pagination2').find_all('li')[-2].find('a').get_text()

print('-------max_count-----'+max_count)

# 套图页面

page_urls=[]

for i in range(1,(int(max_count)+1)):

if i==1:

page_urls.append(url + '.html')

else:

page_urls.append(url + '_' + str(i)+'.html')

# 图片地址

for index, page_url in enumerate(page_urls):

print('-----page_url-----'+page_url)

result = requests.get(

page_url, headers=HEADERS, timeout=10).text

img_url=BeautifulSoup(result,'lxml').find('article',class_='article-content').find_all('img')

for s_img_url in img_url:

real_img='http://www.rosimm8.com'+s_img_url.get('src')

print('-----real_img-----'+real_img)

name_index=name_index+1

save_pic(real_img,name_index)

except Exception as e:

print(e)

仅供学习参考使用

python最新官网图片_Python轻松爬取Rosimm写真网站全部图片相关推荐

Python轻松爬取Rosimm写真网站全部图片
RosimmImage 爬取Rosimm写真网站图片有图有真相 def main_start(url):"""爬虫入口,主要爬取操作""" ...
python爬虫网页中的图片_Python爬虫爬取一个网页上的图片地址实例代码
本文实例主要是实现爬取一个网页上的图片地址,具体如下. 读取一个网页的源代码: import urllib.request def getHtml(url): html=urllib.request. ...
python——图片爬虫：爬取爱女神网站(www.znzhi.net)上的妹子图进阶篇
在上一篇博客中:python--图片爬虫:爬取爱女神网站(www.znzhi.net)上的妹子图基础篇我讲解了图片爬虫的基本步骤,并实现了爬虫代码在本篇中,我将带领大家对基础篇中的代码进行改善, ...
Python网络爬虫（九）：爬取顶点小说网站全部小说，并存入MongoDB
前言:本篇博客将爬取顶点小说网站全部小说.涉及到的问题有:Scrapy架构.断点续传问题.Mongodb数据库相关操作. 背景: Python版本:Anaconda3 运行平台:Windows IDE ...
python最新官网图片_python爬取福利网站图片完整代码
存起来自己学习... import requests,bs4,re,os,threading class MeiNvTu: def __init__(self): self.url_main='ht ...
python爬虫教学百度云_python爬虫爬取百度网盘-怎么做一个百度网盘搜索引擎
因为要做去转盘网,所以一定要爬取网盘资源,本来想自己写一个爬虫挺不容易的,不想分享出来,但最后还是决定了拿给大家一起看吧,毕竟有交流才有进步,有兴趣的朋友也可以看看我写的其他日志或者关注我,会发现去转 ...
如何使用python爬取百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
python爬去百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...
python爬虫百度图片_python实现爬取百度图片的方法示例
本文实例讲述了python实现爬取百度图片的方法.分享给大家供大家参考,具体如下: import json import itertools import urllib import requests ...

python最新官网图片_Python轻松爬取Rosimm写真网站全部图片

python最新官网图片_Python轻松爬取Rosimm写真网站全部图片相关推荐

最新文章

热门文章