2017年1月份备受关注的微信小程序功能正式上线了，好多知名平台纷纷推出了自己的微信小程序，例如大众点评、美团外卖、京东购物。对于我们爬虫开发者来说这绝对是好事情，意味着又多了一个数据来源，又多了一种选择。
用过微信小程序的人都知道无论是从界面上看还是从功能上看都和普通的手机App并没有什么差别。那么客户端与服务端数据交互的方式是否也一样呢？从微信小程序开发文档上了解到，产品模式下微信小程序强制要求客户端和服务端通过HTTPS协议进行交互（传统的手机App并没有这种限制），而不允许不安全的HTTP。这就意味着如果直接抓包（例如，使用Wireshark），我们看到的也是一堆乱码（HTTPS数据是加密传输的），无法了解交互的接口和过程。然而这一点并不难突破。
Web协议调试神器Fiddler，它最强大的地方就是能够抓取并明文展示HTTPS报文。它抓取HTTPS的原理是这样的，首先Fiddler是以HTTPS代理模式工作的，当Fiddler接收到客户端（浏览器）CONNECT请求时，它冒充服务端（网站）接受客户端的请求，并回送客户端一个伪造的证书，并冒充客户端（浏览器）和真实的服务端（网站）建立连接，之后它就充当一个中间人的角色，向服务端（网站）转发客户端（浏览器）的请求数据，向客户端（浏览器）转发服务端（网站） 的应答数据。对于这个中间人来说两边的请都是和其直接建立的，所以两边发送的数据它都能解密成明文。
下面是技术人员以“京东购物”微信小程序为例，介绍如何分析、抓取一个微信小程序的数据：
1）安装Fiddler4，启用HTTPS抓取。并允许远程连接。

2）手机Wifi确保和安装Fiddler的机器在一个局域网内。并在手机Wifi里设置好Fiddler代理。
3）在微信中搜索“京东购物”，进入该小程序。
4）操作小程序，不出意外的话，就能看到Fiddler抓到的数据包。如下图所示。

5）有过手机App抓包经验的开发者会发现这个微信小程序的抓包分析过程其实和手机App的抓包分析过程完全一样。技术人员分析了几个微信小程序，发现目前微信小程序的数据基本上都没有做什么有效的防护策略（例如 签名机制），意味着一旦我们分析到数据接口（URL和参数）就可以轻易拿到我们想要的数据。例如京东购物的商品详情接口，我们只需要修改其中的商品ID参数，就可以拿到不同商品详情信息（标题、价格、规格、参数、评论、卖家信息），如下图所示。

相信在不就的将来各厂商会意识到这个问题并加强对数据的保护，就像传统的手机App一样。总之，各位：“欲抓从速！”
如果您有好的想法和建议的话可以交流一下
http://cloud.yisurvey.com:9081/html/37be8794-b79e-4511-9d0a-81f082bac606.html

本文转载自互联网、仅供学习交流，内容版权归原作者所有，如涉作品、版权和其他问题请联系我们删除处理。

特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理

小程序素材抓取软件_如何抓取微信小程序的数据？相关推荐

  1. 【微信小程序控制硬件③】 从软件到硬件搭建一个微信小程序控制esp8266的项目，自定义通讯协议，为面试职位和比赛项目加分！

    微信物联网生态主要分在微信硬件开发平台与腾讯物联开发平台,前者已经停止维护,但依然有着很大的学习价值,而后者作为主推的平台,集成很多功能,包括从微信小程序实现配网到控制: 为了兼顾更多的朋友和自己的学 ...

  2. 修改小程序swiper 点的样式_高质量的微信小程序样式模板应该长什么样？

    现在不懂技术的小白若想快速制作自己的小程序,一般是通过小程序模板来实现.通过在模板上添加自己的图片.文字.商品等等,可以很简单地生成一个小程序.不过要想把小程序做得好看,你得找高质量的小程序样式模板才 ...

  3. 微信小程序怎么弄成链接_自己怎么弄微信小程序？

    小程序的开发方式通常有以下几种:  自建小程序开发团队: 一部分大型企业或者有雄厚资金实力的企业,都会选择自己组建开发团队.虽然组建自己的团队,无论是前期开发,还是后期的维护.升级.改版等,沟通起来都 ...

  4. 安卓抓包软件_你们要的抓包神器！以及抓包原理

    昨天讲到 农行提固定额度失败原因查看方法! 发现好多卡友对这个抓包很有兴趣,今天就着重讲讲抓包的流程. 先讲讲这个抓包的原理:我们手机里面的银行app和服务器连接,把银行app看成是A,把服务器看成是 ...

  5. ajax 微信code获取_计算机毕业设计中微信小程序实现微信登录(Java后台)

    点击上方"蓝字",关注我们. 需要的材料 1:一个可以测试的微信小程序 2:此微信小程序的APPID和APPscret 流程 微信用户对应一个小程序都有一个唯一的openid,微信 ...

  6. c#怎么做windows窗体小程序_个人想做微信小程序怎么做？

    在我们以往人的印象中,想要做电商,想要当线上商家,就需要有一个自己的网站,然后在上面挂上自己的商品进行销售,或者入驻于淘宝等电商平台中,开店铺,而微信小程序的出现,则打破了这一规律,商家可以在微信平台 ...

  7. 小程序webview关注公众号_公众号如何关联小程序

    公众号如何关联小程序 现在公众号已经是我们生活中非常常见的推广营销的工具了,都说以前1.0的PC时代,是网站的时代,而现在2.0的移动时代是公众号的时代,但是公众号类似H5的链接的形式,用户的体验感不 ...

  8. 【微信小程序控制硬件⑦ 进阶篇】动起来做一个微信小程序Mqtt协议控制智能硬件的框架，为心里全栈工程师梦想浇水。

    文章目录 一.前言: 二.涉及的技术点: 三.框架的运行原理: 四.框架代码流程: 4.1 主线程: 4.2 获取设备列表显示设备,以及订阅在线的设备: 4.3 点击某设备如何实现携带此设备信息到控制 ...

  9. 生鲜小程序 微信小程序怎么制作 临沂修齐网络专业制作微信小程序

    生鲜小程序 微信小程序怎么制作 临沂修齐网络专业制作微信小程序 生鲜小程序开发功能介绍: 1.产品展示:通过扫码或者搜索小程序,用户可以看到不同品种的新鲜蔬菜.水果以及肉类. 2.定时收货:买家可以预 ...

最新文章

  1. 本科生如何自学机器学习？
  2. Android 获取keystore SHA1方法
  3. 图解：sap中的账户确定（账户决定或者科目确定）如何实现如总账的集成
  4. [控件] TranformFadeView
  5. match_phrase搜不出来，怎么办？
  6. 安装了vmware tools后，自动调整大小-自动适应客户机仍为灰色（终极解决方案）
  7. Idea 依赖冲突一分钟解决2种方案
  8. AI人才大战硝烟袅袅，缺口该如何填补？
  9. 前端都应懂的入门基础-github基础
  10. 语言取10的整数倍_C语言面试题（一）
  11. 算数运算符与关系运算符_【Flutter 110】Flutter手把手教程Dart语言——运算符
  12. sql2005没有服务器名称
  13. 图像增广——图片旋转任意角度（python实现）
  14. wifi分析仪怎么看哪个信道好_四大实用WiFi检测工具，调整信道避免干扰
  15. java uint,Java如何在java中解析uint8？
  16. Dubbo的failsafe容错策略
  17. 晶振对微型计算机的作用,单片机中晶振电路的作用及其常见参数
  18. 5G多卡聚合路由器在高速公路收费中的应用
  19. Oracle--ORA-01775: 同义词的循环链
  20. 计算机网络ip地址划分计算机,计算机网络IP地址协议、分类、子网掩码

热门文章

  1. 宝塔设置thinkphp的伪静态_thinkphp等入口文件在public目录的设置方法
  2. 纪念下数据路上遇到的贵人
  3. 如何修改Cypress 测试代码中默认的超时时间(timeout)
  4. ng-template 和 TemplateRef.createEmbeddedView
  5. SAP Spartacus scss 变量--cx-spatial-base赋值的地方
  6. 如何处理新建的SAP CRM产品category没有出现在列表的问题
  7. Eclipse Server runtime设置里找不到apache tomcat的处理方法
  8. Groovy里的日期处理
  9. CRM_MESSAGES_DISPLAY debug
  10. OPA 22 - sinor fake xml http request