1.分析网站数据接口

网站通过访问接口history.aspx获取数据

接口必要参数
其中url是处理后的商品地址，token是加密后的参数

 data = {'DA': '1','action': 'gethistory','url': url,'token': token,}

发现加密网址获取token的地方

获取后的加密js

获取数据

2.分析网站图表加载

加载图表的函数
flotChart.chartNow(json.datePrice, json.spUrl, “pc”);

图表所需div

<div id="container"></div>

3.本地重建

因为不能跨域请求所以通过后台访问数据接口

4.token获取源码

源码获取传送门

=========================================================

5.网站更新

最近发现网站更新了，请求接口的参数和接口什么的都变了，本来想花点时间研究通，可是因为上班时间不够就只弄了一半。

生成token和Authorization所需的值，获取了id="ticket"的value

id=“ticket”

我暂时没弄清楚这个ticket标签是通过什么方式注入的值，所以直接通过后台java爬虫获取网页中最新的该标签值，然后传到我的项目前端

    @RequestMapping("/index")public String index(Model model) throws IOException {Document document = Jsoup.connect(OIL_PRICE_URL).get();Elements ticket = document.select("#ticket");String value = ticket.attr("value");System.out.println(ticket);System.out.println(value);model.addAttribute("token",value);return "index";}

通过调用js获取需要的所有参数

老规矩不能跨域请求，将参数传回后端去请求数据

    @RequestMapping("/getData")@ResponseBodypublic String getData(@RequestBody Parameter param) throws Exception {String URL = "https://tool.manmanbuy.com/api.ashx";Map<String, String> map = beanToMap(param);return post(URL,map);}

爬虫获取淘宝等电商历史价格，分析资源网站实现本地重建（仅供个人学习）相关推荐

视频教程-仿淘宝客户端电商平台android初级速成-Android
仿淘宝客户端电商平台android初级速成北风网技术总监,在某大型电信设备公司担任架构师,主要从事电信领域的软件开发,经验丰富.对电信计费系统以及核心网软件系统有深入了解,对设计高可靠性,高扩展性的 ...
仿淘宝客户端电商平台android初级速成-张勇-专题视频课程
仿淘宝客户端电商平台android初级速成-969人已学习课程介绍本教程从当下火热的商城项目入手,以讲师多年商城项目开发为核心,与北风网强强联手录制了<北风商城>And ...
Python网络爬虫获取淘宝商品价格
1.Python网络爬虫获取淘宝商品价格代码: #-*-coding:utf-8-*- ''' Created on 2017年3月17日 @author: lavi ''' import reque ...
淘宝天猫电商活动大促PS模板合集，附带预览图、源文件
淘宝天猫电商活动大促PS模板,附带预览图.源文件素材包含源文件PSD.jpg预览图,数量十分齐全 2G多希望大家能够喜欢备份(可不限速下载):分秒帧影音协作从此无界
淘宝天猫电商活动大促PS模板，附带预览图、源文件
工欲善其事必先利其器!! 今天我们为你精选了淘宝天猫电商活动大促PS模板下载地址:分秒帧影音协作从此无界
淘宝天猫电商运营创业经验分享
都说淘宝不好做了,做电商又苦又累,还不赚钱,我觉得有必要分享一下我9年电商运营的经验,都是干货. 首先电商要想持续盈利,选择赛道很重要,做电商,选择>努力.有做电商想法的小伙伴,一定要做好赛道的 ...
了解淘宝美工电商设计
什么是电商设计网页设计➕平面设计的结合运用方向:淘宝.京东的产品包装和宣传电子商务是以信息网络技术为手段,以商品交换为中心的商务活动;也可理解为在互联网.企业内部网和增值网上以电子交易方式进行交 ...
基于vue开发的移动端（仿蘑菇街，淘宝）电商项目
基于vue.js的知识点(webpack,Vuex,Vue-router,axios)开发电商手机网站项目组件库:vantUI.ElementUI 码云地址:https://gitee.com/YG ...
“长鞭效应”已威胁到淘宝等电商平台发展
博威创智商业咨询部许晶事件背景 (腾讯科技报道)10月以来,柴油紧张和淘宝商城的光棍节促销将各大快递公司爆仓隐患彻底引燃.申通快递昆明.贵阳.兰州.西安.北京等网点几乎同时爆仓,多地业务一度暂停. ...

爬虫获取淘宝等电商历史价格，分析资源网站实现本地重建（仅供个人学习）