爬虫爬取动漫照片示例

屁话不多说直接上代码

import requestsfrom urllib.parse import urlencodedef get_page(limit):params = {'tags': 'holds:false','limit': limit,'api_version': '2','filter': '1','include_tags': '1','include_votes': '1','include_pools': '1',}url = 'https://konachan.net/post.json?' + urlencode(params)try:response = requests.get(url)if response.status_code == 200:return response.json()except requests.ConnectionError:return Nonedef get_images(json):if json.get('posts'):for image in json.get('posts'):yield {'image': image.get('file_url'),'id': image.get('id'),}import os
def save_image(item):file_path = 'image_mine'if not os.path.exists(file_path):os.mkdir(file_path)try:response = requests.get(item.get('image'))if response.status_code == 200:file_path2 = file_path + os.path.sep + str(item.get('id')) + '.jpg'if not os.path.exists(file_path2):with open(file_path2, 'wb') as f:f.write(response.content)else:print('Already Downloaded', file_path)except requests.ConnectionError:print('Failed to Save Image')def main(offset):json = get_page(offset)for item in get_images(json):print(item)save_image(item)if __name__ == '__main__':limits = [100, 1000]for limit in limits:main(limit)

结果如下

爬虫爬取动漫照片示例相关推荐

通过PYTHON爬虫爬取明星的照片和资料
通过PYTHON爬虫爬取明星的照片和资料一.准备工作 1.选择合适的网站 2.安装MongoDB数据库 3.导入依赖库二.开始爬虫一.准备工作 1.选择合适的网站这次爬虫的目的,是为了为人脸识 ...
python爬取率_Python实现爬虫爬取NBA数据功能示例
本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据 ...
从零到一学爬虫-爬取微博热搜示例
爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求,得到响应,然后将响应的信息进行打印. 当我们直接打开浏览器,输入https://s.weibo.com/top/summary, ...
java爬虫爬取动漫之家10000部漫画信息
Java大作业,爬取信息并写入Excel. 项目下载:https://pan.baidu.com/s/1Z1rMWSyaAeGvZCm5CMgexQ(请用eclipse 2018打开,我的jdk版本是 ...
循环爬取图片_Python爬虫爬取小姐姐照片！
哔哩哔哩上有一个相簿板块,里面有很多绘画和摄影,自己动手一张一张保存太慢,于是想到了python爬虫. 今天就用python来写个爬虫,爬取每月月榜上的小姐姐,一劳永逸. 爬虫步骤: 1.在bilib ...
【python】使用爬虫爬取动漫之家漫画更新信息
网站名称为: https://manhua.dmzj.com/update_1.shtml 本篇仅在于交流学习 1.首先将相应的库导入: import re import requests from ...
java爬虫抓取nba_利用Python爬虫爬取NBA数据功能实例分享
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...
python爬网站数据实例-利用Python爬虫爬取NBA数据功能实例分享
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...
python爬去新浪微博_Python爬虫爬取新浪微博内容示例【基于代理IP】
Python爬虫爬取新浪微博内容示例[基于代理IP] 发布时间:2020-09-07 10:08:14 来源:脚本之家阅读:120 本文实例讲述了Python爬虫爬取新浪微博内容.分享给大家供大家参 ...

爬虫爬取动漫照片示例

爬虫爬取动漫照片示例相关推荐

最新文章

热门文章