今日头条图片爬取(一)

万年老掉牙的头条街拍爬取，不过用来练习还是可以的，也有很多资料查询

1.获取总页面的代码

在头条的右上角搜索选项内搜索街拍，我们看见街拍首页了，然后看看是不是js加载的发现还真是，头条全部都是js加载的，这里可以用Toggle JavaScript(Chrome插件)，这个可以去Chrome的插件网上下载，就是点一下js部分就会被禁止执行，方便点

2.找js请求

F12打开开发者选项
在XHR中就一个请求，点进去一看发现就是我们想要的，再看看headers

Query String Parameters是构成url请求的数据，就是url的？后面的数据
码出代码

    def get_bhtml(self,keyword,offset): #获取总页面的代码data = {  #为了方便更改所以变成字典样式"offset": offset,"format": "json","keyword": keyword,"autoload": "true","count": 20,"cur_tab": 1,"from": "search_tab"}url = 'https://www.toutiao.com/search_content/?'+urlencode(data)#urlencode用于把自典变成url形式response = requests.get(url,headers=self.headers).textreturn response  #返回页面的代码

3.获取详情页的url

打开刚才的到的请求看看

data的第二个字典是我们想要东西的第一个，share_url就是我们要的详情页的url，似乎大功告成，但是头条还有ajax，我们不可能只爬他刚加载的部分
ajax的爬取
打开F12，然后不断往下翻，就多出来几个请求

offset的作用看出来了

也就offset变了
代码

 def get_xurl(self,html): #传入总页面的网页代码url = re.compile('"share_url": "(.*?)",')urls = url.findall(html,re.S)url_list = [i for i in urls]return url_list  #返回各个详情页的url的列表

今日头条图片爬取(一)相关推荐

python爬取今日头条专栏_[python3]今日头条图片爬取
前言代码设计流程,先模拟ajax发送搜索"街拍美女",提取返回json里面的article_url,再访问article_url,提取article_url响应的图片url,访问 ...
简单爬虫Ajax数据爬取——今日头条图片爬取
一.Ajax简介什么是Ajax? Ajax 即"Asynchronous Javascript And XML"(异步 JavaScript 和 XML),是指一种创建交互式网页 ...
Python Selenium+Requests爬虫[双线程]--今日头条图片爬取【亲测能行!!!】
码前冷静分析首先需要准备好selenium.requests库以及Chromedriver 这个就不细说了,有很多博客可以参考然后讲一下大体思路首先搜索想要爬取图片的关键词 - 接着是" ...
今日头条图片爬取和下载
import re import requests import json import os from urllib import request def list_pare(url):header ...
python爬取今日头条_爬取今日头条街拍图片
参考于崔庆才的Python爬虫教程,但是崔的视频时间过长,今日头条网站反爬虫也有了变化,因此写下此文章来记录自己的爬取过程遇到的问题,也给大家一些借鉴.欢迎大家讨论. 一.获取索引页. 我们会发现do ...
python爬虫爬取今日头条_爬取今日头条头条号文章数据
0,背景介绍最近想爬取一些今日头条的文章浏览数据,分析哪些头条号做的好,那些做的不好. 今日头条比如上图的阅读数,评论数以及文章标题,通过这些数据进行分析. 于是展开了艰难的爬虫探索之旅第一目标 ...
（廿五）Python爬虫：抓取今日头条图片
此次完成抓取今日头条动漫图片,并将图片保存在本地.最后结果如下: 分析打开今日头条首页搜索"动漫",查看源代码我们会发现只包含少量的HTML,所以可以判断页面是AJAX加载的.打 ...
java spring+mybatis整合实现爬虫之《今日头条》搞笑动态图片爬取
java spring+mybatis整合实现爬虫之<今日头条>搞笑动态图片爬取(详细) 原文地址原博客地址先上效果图抓取的动态图: 数据库: 一.此爬虫介绍今日头条本身就是做爬虫的 ...
爬取今日头条图片（解决缩略图问题+MySQL）
爬取今日头条图片 1. 引言 2. 分析 2.1 获取主页的url 2.2 获取当前页所有文章的链接 2.3 具体文章的信息 2.4 MySQL设置 3.代码 4. 效果 4.1 本地效果图 4.2 ...

今日头条图片爬取(一)

1.获取总页面的代码

2.找js请求

3.获取详情页的url

今日头条图片爬取(一)相关推荐

最新文章

热门文章