js抓取今日头条文章

首先验证头条接口是否支持jsonp，在接口地址的参数中添加callback=call

http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A48B28B39&cp=584B080BD3899E1&callback=call

访问接口，返回的数据为：call(...)的形式

由此判断接口支持jsonp，那么接下来就好办了，可以使用jsonp访问接口，然后从返回数据中提取出所需要的数据。

var time = 0;
var as_param;
var cp_param;
$(function(){var param = getParam();as_param = param.as;cp_param = param.cp;getWeare();
});function getWeare(){$.ajax({url:"http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time="+time+"&as="+as_param+"&cp="+cp_param+"&callback=tt",type:'get',dataType:'jsonp',jsonp:'tt'});
}function tt(data){var tarray = [];if(data.has_more==1){var adata = data.data;for(var i = 0; i < adata.length; i++){var tmap = {};var title = adata[i].title;var link = adata[i].source_url;tmap['title'] = title;tmap['url'] = TT + link;tarray.push(tmap);}}
}

源码下载地址请百度搜索微儿博客或者直接访问 www.weare.net.cn

js抓取今日头条文章相关推荐

js爬取今日头条头条号的文章
首先,验证今日头条的接口是否支持jsonp,在接口地址的参数中添加callback=call http://www.toutiao.com/pgc/ma/?page_type=1&count= ...
（廿五）Python爬虫：抓取今日头条图片
此次完成抓取今日头条动漫图片,并将图片保存在本地.最后结果如下: 分析打开今日头条首页搜索"动漫",查看源代码我们会发现只包含少量的HTML,所以可以判断页面是AJAX加载的.打 ...
博客搬家系列（六）-爬取今日头条文章
博客搬家系列(六)-爬取今日头条文章一.前情回顾博客搬家系列(一)-简介:https://blog.csdn.net/rico_zhou/article/details/83619152 博客搬家 ...
Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法(2020-6-29版)
前言在这里我就不再一一介绍每个步骤的具体操作了,因为在爬取老版今日头条数据的时候都已经讲的非常清楚了,所以在这里我只会在重点上讲述这个是这么实现的,如果想要看具体步骤请先去看我今日头条的文章内容,里 ...
[爬虫笔记01] Ajax爬取今日头条文章
1.爬取分析我们首先打开今日头条,搜索"罗志祥" 打开浏览器的开发者工具,红色框中就是我们请求到的数据将搜索界面的滚动条滑到底,在开发者工具中就可以看到所有请求到的数据,加上前 ...
用python爬取今日头条上的图片_Python爬虫：抓取今日头条图集
今天我们来爬取今日头条图集,老司机以街拍为例. 运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器 1.网页分析从 ...
用python爬取头条文章_AI第四课：Python爬取今日头条文章
到目前为止,能使用python写一点简单的程序了,本次的任务是爬取今日头条的文章信息. 大致涉及的知识点:json数据格式,浏览器插件jsonView,浏览器开发者模式,html基础,http代理,h ...
java爬取今日头条文章
闲来无事,写了个爬虫爬取今日头条的文章信息,然后使用ECharts展示出统计结果. 那么怎样爬取今日头条的信息呢? 首先,分析头条页面文章是通过ajax获取的所以要找到调用的url,然后跟踪代码查 ...
使用php蓝天采集器抓取今日头条ajax的文章内容
今日头条的数据都是ajax加载显示的,按照正常的url是抓取不到数据的,需要分析出加载出址,我们以 https://www.toutiao.com/search/?keyword=%E6%96%B0% ...

js抓取今日头条文章

js抓取今日头条文章相关推荐

最新文章

热门文章