多进程爬取Unsplash网站图片

官网链接：https://unsplash.com/

"""
下载Unsplash的手机照片
"""
import requests
from bs4 import BeautifulSoup as bs
from concurrent import futures
sum_num = 0
def get_img_urls_download(page_num):try:global sum_numurl = 'https://unsplash.com/napi/search/photos?query=cell%20phone&xp=&per_page=20&page='+str(page_num)
#         headers = {
# #                     "authority":"unsplash.com",
#                     "referer":"https://unsplash.com/search/photos/mobile-phone",
#                     "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
#                     }raw_data =  requests.get(url).json()link_list = raw_data.get("results")print("正在下载第%d页"%page_num)for link in link_list:link = link.get("links").get("download")
#             print(link)img = requests.get(link).content
#             print(img)with open("temp_img/手机/1_%d.jpg"%sum_num, "wb") as f:f.write(img)sum_num +=1print("第%d页下载完成"%page_num)except Exception:print("第%d页下载失败"%page_num)def download_start(end_page):workers = 100with futures.ThreadPoolExecutor(workers) as e:e.map(get_img_urls_download, [page_num for page_num in range(end_page)])download_start(1612)   #指定下载的页数

多进程爬取Unsplash网站图片相关推荐

python爬虫真假网址,python爬取福利网站图片完整代码,懂得人都懂
网址需要自己替换懂的人都懂512*2,主要学习简单的爬虫,别乱用,否则后果自负! [Python] 纯文本查看复制代码 import requests,bs4,re,os,threadingclas ...
python最新官网图片_python爬取福利网站图片完整代码
存起来自己学习... import requests,bs4,re,os,threading class MeiNvTu: def __init__(self): self.url_main='ht ...
python爬虫爬取某网站图片
学习分享 | 今天刚学完爬虫,就随便写了一个爬虫代码爬取某网站的图片网站就是这个图片网站,我选的是1080p格式,4k的要会员,我反正是还不会导入的包如下 import requests from ...
python批量访问网页保存结果_Python爬虫(批量爬取某网站图片)
1.需要用到的库有: Requests re os time 如果没有安装的请自己安装一下,pycharm中打开终端输入命令就可以安装 2.IDE : pycharm 3.python 版本: 3.8 ...
python 动态相册,python3爬取动态网站图片
思路: 1.图片放在XXX标签中 2.利用fiddler抓包获取存放图片信息的js文件url 3.利用requests库获取html内容,然后获取其中图片id 4.利用fiddler抓取下载图片地址, ...
xpath 爬取某网站图片
效果图请自行脑补,此处不做展示(狗头保命) from lxml import etree import requests import osif __name__ == '__main__':url ...
python爬取pexels网站图片
#coding:utf-8from lxml import etree import requests import urllib.request import progressbar header= ...
python爬取某网站图片
程序运行需要导包具体看代码中的,缺啥导啥✌. import requests import re import time import os url="https://pic.netbia ...
python爬取指定关键字图片
''' 爬取指定关键字图片 ''' import re# 正则表达式,解析网页 import requests# 请求网页 import traceback import osdef dowmload ...
python爬取京东商品图片_python利用urllib实现爬取京东网站商品图片的爬虫实例
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码! # -* ...

多进程爬取Unsplash网站图片

多进程爬取Unsplash网站图片相关推荐

最新文章

热门文章