前嗅教你大数据：采集东方财富网数据

l 采集场景

【场景描述】采集东方财富网行情中心沪深京A股数据。

【使用工具】前嗅ForeSpider数据采集系统，免费下载:

ForeSpider免费版本下载地址

l采集网站

【入口网址】

http://quote.eastmoney.com/center/gridlist.html#hs_a_board

【采集内容】

采集行情中心沪深京A股中的所有数据。

【采集效果】如下图所示：

l采集思路

l配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

2.观察翻页请求链接

①在浏览器中打开该页面，点击不同的翻页，观察左上角页面链接，发现没有变化。说明翻页中的数据在请求链接中。

②点击F12,如下图所示操作，先清空所有请求，点击任意一个翻页，右侧出现对应请求链接。打开请求的Preview，看到有表格中的数据。说明该请求为该翻页对应的请求链接。

右击该请求，可复制链接。

③将复制的链接粘贴到文档中，并用同样的方法，再获取另外两个翻页链接，观察翻页请求链接规律如下所示：

3.拼取翻页请求链接

①选中链接抽取，打开脚本窗口。

②写一个for循环，拼取翻页请求链接。

脚本文本如下所示：

url u;//定义一个链接取值

for(int i=1;i <=50;i++) //设定翻页总数50

{

u.title = URL.title+"@_@"+i.ToStr();//返回链接标题为当前链接+@_@+第i页

u.urlname = "http://42.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124005285923334703457_1642750942461&pn="+i+"&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_="+time(time.GetTime()).ToStr().Left(" ")+"%2017:27:240000";//根据请求链接规律，拼取链接

u.entryid = CHANN.id;//返回链接id

u.tmplid = 2;//关联模板02

RESULT.AddLink(u);//结束返回链接

}

③采集预览，查看链接是否正确，复制任意一条链接，并在浏览器中打开该链接。

如下图所示，源码中包含该翻页的数据内容，则表示请求链接配置正确，可继续下一步操作。

4.抽取数据

①新建模板02，在其下新建一个数据抽取，如下图所示：

②新建数据表，具体如下图所示：

④关联数据表

⑤打开脚本窗口，新建数据抽取脚本。

⑥打开浏览器，观察源码，发现页面表格中的数据，在页面源码的json串中，在data中的diff数组中，每个数值，对应一行数据。每行数据分别在f1——f152对应的数值中。

根据数据所在位置规律，编写脚本如下所示：

脚本文本：

var str=DOM.GetSource().ToStr();//获取请求链接中所有的源码var str_sec=str.Middle('"data":','})');//获取data后的数组内容jScript js;//定义一个jsvar obj = js.RunJson(str_sec);//运行数组var data=obj.diff;//定义data为diff数组for(var i=0;i<20;i++){//有20个数值，所以写一个for循环，来获取这些数值的内容record re;//定义返回值，固定搭配re.id=URL.title.Right("@_@")+i;//id为当前链接标题中@_@后数值+ire.f1=data[i].f1;//返回f1为data数组中的第i个数值中的f1值re.f2=data[i].f2;//返回f1为data数组中的第i个数值中的f2值re.f3=data[i].f3;//返回f1为data数组中的第i个数值中的f3值re.f4=data[i].f4;re.f5=data[i].f5;re.f6=data[i].f6;re.f7=data[i].f7;re.f8=data[i].f8;re.f9=data[i].f9;re.f10=data[i].f10;re.f11=data[i].f11;re.f12=data[i].f12;re.f13=data[i].f13;re.f14=data[i].f14;re.f15=data[i].f15;re.f16=data[i].f16;re.f17=data[i].f17;re.f18=data[i].f18;re.f20=data[i].f20;re.f21=data[i].f21;re.f22=data[i].f22;re.f23=data[i].f23;re.f24=data[i].f24;re.f25=data[i].f25;re.f62=data[i].f62;re.f115=data[i].f115;re.f128=data[i].f128;re.f140=data[i].f140;re.f141=data[i].f141;re.f136=data[i].f136;re.f152=data[i].f152;RESULT.AddRec(re,this.schemaid);//结束返回一个数据，固定搭配}

⑥采集预览

发现数据都采集出来了，说明配置成功。

l采集步骤

模板配置完成，采集预览没有问题后，可以进行数据采集。

1.建立数据表单

选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【dong】（注意命名不能用数字和特殊符号），点击【确定】。创建完成，勾选数据表，并点击右上角保存按钮。

2.开始采集

选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。

3.导出数据

采集结束后，可以在【数据浏览】中，选择数据表查看采集数据，并可以导出数据。

4.导出的文件打开如下图所示：

*本教程仅供教学使用，严禁用于商业用途！

l 前嗅简介

前嗅大数据，国内领先的研发型大数据专家，多年来致力于为大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！

前嗅教你大数据：采集东方财富网数据相关推荐

spi的dma方式前四个字节_前嗅教你大数据：常见几种编码介绍
为什么要编码? 大家可以先思考个问题: 计算机是如何表示我们人类能够理解的符号的,也就是我们人类使用的语言. 人类的语言有太多了,因而表示这些语言的符号太多. 我们无法用计算机中一个基本的存储单元-- ...
前嗅教你大数据：批量采集/下载网页中的图片数据
l 采集网站 [场景描述]采集revisionvillage网页中所有真题图片的数据. [源网站介绍]revisionvillage,国外知名IB真题网站,每道题都有视频讲解的IB数学刷题网站. [使 ...
前嗅教你大数据：采集孔夫子旧书网
l 采集网站 [场景描述]采集孔夫子旧书网数据. [源网站介绍]孔夫子旧书网是国内专业的古旧书交易平台,汇集全国各地13000家网上书店,50000家书摊,展示多达9000万种书籍:大量极具收藏价值的 ...
前嗅教你大数据：采集带有翻页结构的网页数据
置顶 "前嗅大数据" 和数据大牛一起成长,做牛气哄哄的大数据人 [场景描述]采集带有翻页的网页中的数据. [使用工具]前嗅ForeSpider数据采集系统,免费下载: ForeSp ...
采集数据用云服务器与公司网站,网络爬虫软件,企业版,大企业,采集内网数据,私有云部署-集搜客GooSeeker...
爬虫路线规划能力集搜客GooSeeker网络爬虫沿着线索扩展爬行范围,而且不限广度和深度.免费在线版用户在MS谋数台的爬虫路线工作台上规划爬虫路线,主要能力就是:从抓取到的网址上建立下一级线索,这是 ...
后羿采集器怎么导出数据_后羿采集器教程：如何采集东方财富网股票数据
本文介绍如何使用采集器的智能模式,实时采集东方财富网行情中心新三板股票数据采集工具简介: 后羿采集器是一款基于人工智能技术的网页采集器,只需要输入网址就能够自动识别网页数据,无需配置即可完成数据采集 ...
采集京东网数据的10个经典方法
京东网数据采集全网抓取网页数据.商品销量.全网搜索.网页爬虫.采集网站数据.网页数据采集软件.python爬虫.HTM网页提取.APP数据抓包.APP数据采集.一站式网站采集技术.BI数据的数据分析. ...
爬取东方财富网数据笔记
小白是如何学习爬虫的?首先先从简单的入手,在b站上寻找爬虫视频,这里推荐Python爬虫编程基础5天速成(2021全新合集)Python入门+数据分析_哔哩哔哩_bilibili 有编程基础的仅需要观 ...
MySQL 怎么插入10天前的日期_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储！...
Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好 ...

前嗅教你大数据：采集东方财富网数据

前嗅教你大数据：采集东方财富网数据相关推荐

最新文章

热门文章