网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？

你是想用js实现翻页，然后用dom操作来拿到评论吗？

我实现了，但是发现你如果翻到500页差不多之后，返回的数据都是一样的了。。。

虽然就页码在变。

// 因为是有个 iframe 的东西，然后就不能在最外面的documnet中获取这个a标签。

var iframe = document.getElementById('g_iframe');

var innerDoc = iframe.contentDocument || iframe.contentWindow.document;

function nextpage(){

var allA=innerDoc.getElementsByTagName('a');

for( var i = 0; i

str = allA[i].innerText;

if( str=='下一页'){

var k = allA[i];

//console.log(k);

//console.log(k.getAttribute('class'))

patt = /.*js-disabled/

if ( k.getAttribute('class').search(patt) != -1 ){

window.clearInterval(stop)

}

k.click();

break;

}

var stop = setInterval(nextpage,1500)

上面是 1.5s 翻一页的。

然后我写了一个 chrome devtools 的插件，可以抓取网页上的xhr的request的response。

跑了一会之后，就发现数据都是一样了。。。。

网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？相关推荐

python3爬虫进阶之自动登录网易云音乐并爬取指定歌曲评论
** python3爬虫进阶之自动登录网易云音乐并爬取指定歌曲评论 ** 一.访问网易云首页,找到所需元素的位置用浏览器打开网易云首页https://music.163.com/之后,发现我们要找的 ...
网易云评论爬虫 java_网易云音乐资源爬取（登录+评论）
如何爬取网易云音乐的评论呢? 1.文本以华晨宇的<我的滑板鞋2016>为例 2.使用浏览器的工具,查找获取评论的url 3.不难发现,此API是通过POST请求获得我们想要的评论信息的,需 ...
Python爬虫|采集开源众包的悬赏任务，自动翻页
前言现在互联网,有很多网站提供一些接单外派的形式,提供给有能力的人或者团队去接单.比如说,很多人熟悉的猪八戒,程序员客栈,CODING 码市,开源众包等等平台,相信很多同学也都知道. 如果要第一时间 ...
selenium切换iframe框架案例——翻页爬取网易云音乐歌单作者和名称
翻页爬取网易云音乐歌单作者和标题案例目的: 通过翻页selenium操作网易云音乐,介绍如何切换iframe框架以及如何使用selenium定位数据所在的节点. 代码功能: 输入下载的数据页数,自动 ...
【python】爬虫入门：爬取网易云音乐的歌曲评论、用户歌单、用户听歌记录等
目录一.概述二.爬取流程 1.爬取评论 1.1.资源定位 1.2.爬取准备 1.3.代码实现 2.爬取听歌记录 2.1.资源定位 2.2.爬取准备 2.3.js劫持三.总结一.概述第一次学爬 ...
网易云音乐歌曲评论爬虫（附python源码）
♚转载: 作者:志颖 ,一个狂热的python爬虫热爱者 GitHub:github.com/zyingzhou 用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是 ...
网易云音乐歌曲评论爬虫（附源码）
数据科学俱乐部中国数据科学家社区 ♚ 作者:志颖 ,一个狂热的python爬虫热爱者 GitHub:github.com/zyingzhou 用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都 ...
爬虫：网易云热门歌曲所有评论爬取（详细）
1.我的目的爬取热歌榜中所有歌曲的所有评论,并存入mysql数据库 2.分析过程 1.首先可以看到每首歌曲都在tbody下的一个tr标签中即提取热门歌曲中tbody下所有的tr标签就可以得到所有热 ...
python爬虫音乐图片的感受_python爬虫+词云图，爬取网易云音乐评论
又到了清明时节,用python爬取了网易云音乐<清明雨上>的评论,统计词频和绘制词云图,记录过程中遇到一些问题爬取网易云音乐的评论一开始是按照常规思路,分析网页ajax的传参情况.看到 ...
python的歌曲评论数据分析_用Python分析44万条数据，揭秘如何成为网易云音乐评论区的网红段子手...
有个段子讲"十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗",网易云音乐的评论区也一直都是各类文案大神的聚集地. 那么我们普通用户到底如何成为网易云音乐评论里的热评 ...

网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？

网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？相关推荐

最新文章

热门文章

网易云评论 爬虫 java_网易云歌曲评论爬虫如何实现翻页？

网易云评论 爬虫 java_网易云歌曲评论爬虫如何实现翻页？相关推荐

最新文章

热门文章

网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？

网易云评论爬虫 java_网易云歌曲评论爬虫如何实现翻页？相关推荐