采集练习(八) php 获得网易精彩跟贴数据

　　自古网易出人才，网易评论是我每天必看的，网友的智慧是无限的，看网易评论长阅历，放松心情。刚好最近写采集于是就分析下网易评论的数据，发现网易的数据也是json形式加载过来的。

可以采集的评论有：

精彩跟帖 http://tie.163.com/plaza/recommend.html

精彩盖楼 http://tie.163.com/plaza/build.html

网友热议 http://tie.163.com/plaza/topVote.html

下面只以网易精彩跟帖做例子分析采集：

网易精彩跟帖 http://tie.163.com/plaza/recommend.html 有3页 90条跟帖

用chrome 打开网址在开发者工具 -> console 下可以看到网页上的数据来自 http://tie.163.com/plaza/data/1/recommend.html 这是第一页的数据

返回一个 var replyData={"totalNum":90,"finePosts":xxxx........xxxxxx}; 的js对象;

其实这个js对象去掉开头的 'var replyData=' 和末尾的 ';' 就是个json ;

于是php就可以用json_decode函数转化为数组了;

/*** Created by JetBrains PhpStorm.* User: keygle* From: www.cnblogs.com/keygle* Date: 13-3-14* Time: 下午10:58** 获得网易精彩跟帖  3页 90条数据*/
$conmentData = array();
for($i=1;$i<4;$i++){$conments = array();$recommend= 'http://tie.163.com/plaza/data/'.$i.'/recommend.html';$strData = @file_get_contents($recommend);$commentJson = ltrim($strData,'var replyData='); //去掉 字符串开头的 var replyData=$commentJson = rtrim($commentJson,';'); //去掉 字符串末尾的 ;$conments = json_decode($commentJson,true);foreach($conments['finePosts'] as $val):$conmentData[] = $val;endforeach;
}
//print_r($conmentData);

转载于:https://www.cnblogs.com/keygle/archive/2013/03/15/2960624.html

采集练习(八) php 获得网易精彩跟贴数据相关推荐

数据采集时总提示未登录_做电商必须学会这一招！教你用爬虫工具免费采集网易考拉商品数据...
本文主要介绍如何使用后羿采集器的智能模式,免费采集网易考拉商品的价格.累计评价.商品图片等信息. 采集工具简介: 后羿采集器是一款基于人工智能技术的网络爬虫软件,只需要输入网址就能够自动识别网页数据, ...
python爬取股票信息_利用Python爬取网易上证所有股票数据（代码
利用Python爬取网易上证所有股票数据(代码发布时间:2018-04-14 17:30, 浏览次数:1261 , 标签: Python import urllib.request import r ...
醉翁之意不在酒，网易“星球”意在用户数据
[数据猿导读] 所以当个人数据变得难以获取,那么让用户主动出卖数据,心甘情愿地将自己的"数字资产"双手奉上.这才是网易"星球"的真正目的吧. 记者 | 小北官 ...
爬取网易buff CSGO饰品数据 - 优化篇
文章目录思路回顾配置优化 RawConfigParser 处理配置列表价格取舍价格过滤饰品类别限定内部实现优化:结合价格筛选和饰品类别筛选其他限定? 命名 The End 继上周末搞了c ...
从零搭建阿里云托管版k8s集群-容器日志采集（八）
相信很多人都知道可以自己搭建elk来方便的收集日志,查询日志.虽然搭建elk并不是十分复杂,可对于一般的开发人员来说,尤其是对linux操作不是很熟练的人,是一项相当有难度的工程.所幸现在阿里云已经为 ...
在网易有数上做数据加工和数据分析的实践
设计方案最近在做平台的前端性能分析报告,为了快速实现这个目标,我准备借助现有的系统完成. 本次实践涉及的网易有数产品:Hubble(数据上报).数据开发及管理.有数BI. 这些产品是私有化部署的,大 ...
八折进行中 | 2018 中国大数据技术大会（BDTC）首轮讲师阵容震撼来袭！
暌违一载,今又相约.作为年度技术趋势与行业应用的风向标,2018 中国大数据技术大会(BDTC 2018)携主题"大数据新应用"再度强势来袭,稳踏技术时代浪潮,势将引爆今冬技术圈. ...
「数据分析」Sqlserver中的窗口函数的精彩应用之数据差距与数据岛（含答案）...
上一篇介绍过数据差距与数据岛的背景,这里不再赘述,请翻阅上一文.此篇在Sqlserver上给大家演示1000万条记录的计算性能. 测试电脑软硬件说明一般般的笔记本电脑,2017年7月,价格:4500 ...
网易研选大数据架构演进
猜你喜欢 0.[免费下载]2022年1月份热门报告盘点&下载1.微信视频号实时推荐技术架构分享2.从零开始搭建创业公司后台技术栈3.全民K歌推荐系统算法.架构及后台实现4.微博推荐算法实践与机 ...

采集练习(八) php 获得网易精彩跟贴数据

采集练习(八) php 获得网易精彩跟贴数据相关推荐

最新文章

热门文章