js爬取今日头条头条号的文章

首先，验证今日头条的接口是否支持jsonp，在接口地址的参数中添加callback=call

http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time=0&as=A1A578A48B28B39&cp=584B080BD3899E1&callback=call

访问接口，返回的数据为：call(...)的形式

由此判断接口支持jsonp，那么接下来就好办了，可以使用jsonp访问接口，然后从返回数据中提取出所需要的数据。

js代码：

var time = 0;
var as_param;
var cp_param;
$(function(){var param = getParam();as_param = param.as;cp_param = param.cp;getWeare();
});function getWeare(){$.ajax({url:"http://www.toutiao.com/pgc/ma/?page_type=1&count=10&version=2&platform=pc&media_id=52155491628&max_behot_time="+time+"&as="+as_param+"&cp="+cp_param+"&callback=tt",type:'get',dataType:'jsonp',jsonp:'tt'});
}function tt(data){var tarray = [];if(data.has_more==1){var adata = data.data;for(var i = 0; i < adata.length; i++){var tmap = {};var title = adata[i].title;var link = adata[i].source_url;tmap['title'] = title;tmap['url'] = TT + link;tarray.push(tmap);}}
}

上面代码中的getParam方法在《Java爬虫爬取今日头条文章，统计生成图表》这篇文章的源码js中。

以上内容为作者原创，转载请注明出处！

转载于:https://my.oschina.net/weareweare/blog/809584

js爬取今日头条头条号的文章相关推荐

python微信公众号爬虫_Python爬取指定微信公众号所有文章！
篇文章使用到的技术: mitmdump + 电脑版微信先分析打开可视化抓包工具, 勾选https代理.然后打开电脑版微信任意点击一个公众号,再点击查看历史消息注:想学习Python的小伙伴们可 ...
python编程100例头条-python爬虫演示：以爬取今日头条为例
编者按众所周知,Python是一门编程语言,操作简洁而清晰.功能专业而强大.入门容易又严谨.2018年,教育部正式将人工智能.物联网.大数据处理划入高中课程,这就意味着,现在的中学生开始就要学习编程 ...
python抽取指定url页面的title_Python使用scrapy爬虫，爬取今日头条首页推荐新闻
爬取今日头条https://www.toutiao.com/首页推荐的新闻,打开网址得到如下界面查看源代码你会发现全是js代码,说明今日头条的内容是通过js动态生成的. 用火狐浏览器F12查看得知 ...
java爬取今日头条_今日头条抓取街拍图片数据集
spider1: 抓取街拍页面的所有入口链接: 1.数据查看到,街拍页面需要的数据集都在data这个集合中,而data是整个数据集字典的一个键,data这个键又包括了一个list,list中是一个个字 ...
[爬虫笔记01] Ajax爬取今日头条文章
1.爬取分析我们首先打开今日头条,搜索"罗志祥" 打开浏览器的开发者工具,红色框中就是我们请求到的数据将搜索界面的滚动条滑到底,在开发者工具中就可以看到所有请求到的数据,加上前 ...
博客搬家系列（六）-爬取今日头条文章
博客搬家系列(六)-爬取今日头条文章一.前情回顾博客搬家系列(一)-简介:https://blog.csdn.net/rico_zhou/article/details/83619152 博客搬家 ...
用Python爬取今日头条，里面的东西统统白送！
近年来今日头条做的可谓是风生水起,自上线以来,围绕内容载体和分发方式两个维度不断丰富,至今已衍生出图文.视频.微头条.专栏.搜索.直播等多种内容形式.根据最新中国联通发布的App大数据排行榜,今日头条 ...
如何爬取今日头条图片
本文为项目的练习之一.项目来源网页 https://www.cnblogs.com/qun542110741/p/9145286.html ,项目要求为爬取今日头条搜索关键词为"小姐姐&qu ...
Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法(2020-6-29版)
前言在这里我就不再一一介绍每个步骤的具体操作了,因为在爬取老版今日头条数据的时候都已经讲的非常清楚了,所以在这里我只会在重点上讲述这个是这么实现的,如果想要看具体步骤请先去看我今日头条的文章内容,里 ...

js爬取今日头条头条号的文章

js爬取今日头条头条号的文章相关推荐

最新文章

热门文章