Python-爬取今日头条美图

import requests
from urllib.parse import urlencode
import os
from hashlib import md5
from multiprocessing.pool import Pooldef get_page(offset):params = {'aid': '24','app_name': 'web_search','offset': offset,'format': 'json','keyword': '街拍','autoload': 'true','count': '20','cur_tab': '3'}url = 'https://www.toutiao.com/api/search/content/?' + urlencode(params)header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}try:response = requests.get(url,headers=header)if response.status_code == 200:#print('连接成功')return response.json()except requests.ConnectionError:print("连接失败")return Nonedef get_images(json):#print(json)if json.get('data'):for item in json.get('data'):title = item.get('title')images = item.get('image_list')if images:for image in images:yield{'image': image.get('url'),'title': title}def save_images(item):if not os.path.exists(item.get('title')):os.mkdir(item.get('title'))try:response = requests.get(item.get('image'))if response.status_code == 200:# 这里使用 将图片的unicode file_path = '{0}/{1}.{2}'.format(item.get('title').replace(' ',''), md5(response.content).hexdigest(), 'jpg')if not os.path.exists(file_path):with open(file_path,'wb') as f:f.write(response.content)else:print('Already Download', file_path)except requests.ConnectionError:print('Failed to Save Image')def main(offset):json = get_page(offset)for item in get_images(json):#print(item)save_images(item)GROUP_START = 1
GROUP_END = 1if __name__ == '__main__':os.chdir('jiepai')     # 打开文件夹，在该文件夹下产生文件pool = Pool()    #  Pool 多进程下载groups = ([x*20 for x in range(GROUP_START, GROUP_END + 1)])pool.map(main, groups)pool.close()pool.join()

Python-爬取今日头条美图相关推荐

python爬取今日头条街拍美图
爬取街拍美图(注意:以下长文预警) 成品展示下图是街拍美图保存到本地的电脑截图. 下图是程序运行时的截图. 需求分析首先,打开头条的街拍页面,我在不断的往下滑动,页面一直有新的标签刷出来,不过页面 ...
python爬取今日头条专栏_[python3]今日头条图片爬取
前言代码设计流程,先模拟ajax发送搜索"街拍美女",提取返回json里面的article_url,再访问article_url,提取article_url响应的图片url,访问 ...
用python爬取今日头条上的图片_Python爬虫：抓取今日头条图集
今天我们来爬取今日头条图集,老司机以街拍为例. 运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器 1.网页分析从 ...
python爬取今日头条的文章_Python3爬取今日头条有关《人民的名义》文章
Python3爬取今日头条有关<人民的名义>文章最近一直在看Python的基础语法知识,五一假期手痒痒想练练,正好<人民的名义>刚结束,于是决定扒一下头条上面的人名的名义文章 ...
用python爬取头条文章_AI第四课：Python爬取今日头条文章
到目前为止,能使用python写一点简单的程序了,本次的任务是爬取今日头条的文章信息. 大致涉及的知识点:json数据格式,浏览器插件jsonView,浏览器开发者模式,html基础,http代理,h ...
用Python爬取今日头条，里面的东西统统白送！
近年来今日头条做的可谓是风生水起,自上线以来,围绕内容载体和分发方式两个维度不断丰富,至今已衍生出图文.视频.微头条.专栏.搜索.直播等多种内容形式.根据最新中国联通发布的App大数据排行榜,今日头条 ...
python爬取今日头条街拍,Python3今日头条街拍爬虫
学习了大才哥的在线视频教程,特来这里总结分享一下. 不同于上一篇糗事百科的爬虫,这里爬取今日头条街拍需要分析ajax请求得来的数据. 首先这里是爬取的起始页可以看到当我们往下拉滚动条的时候,新数据是 ...
python爬取今日头条_Python3网络爬虫实战-36、分析Ajax爬取今日头条街拍美图
本节我们以今日头条为例来尝试通过分析 Ajax 请求来抓取网页数据的方法,我们这次要抓取的目标是今日头条的街拍美图,抓取完成之后将每组图片分文件夹下载到本地保存下来. 1. 准备工作在本节开始之前请 ...
python爬取今日头条手机app广告_python3今日头条App电商数据抓取
最近有几个同学让我们帮忙抓取今日头条app的数据,有的同学需要头条app 的广告数据,有的同学需要电商资讯的数据,之前已经在博客中发布过头条app的广告数据,这里我就来用电商的数据来给大家讲解. 1. ...
Python爬取今日头条指定用户发表的所有文章，视频，微头条
前言文的文字及图片过滤网络,可以学习,交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 最近找工作,爬虫面试的一个面试题.涉及的反爬还是比较全面的,结果公司要求高,要 ...

Python-爬取今日头条美图

Python-爬取今日头条美图相关推荐

最新文章

热门文章