微信小程序“校园集市”爬取
微信小程序“校园集市”爬取
一、前言
由于课程作业需要用到校园集市上的一些数据，所以要学着怎么爬取微信小程序。原以为只需要像往常的爬虫一样写一下head和requests就可以获取json文件了。但是，微信小程序一般都需要登录，才能使用，由于笔者水平有限，就没有搞模拟登录。在网上看到可以使用Charles获取APP的请求，就想着试一下。
二、Charles下载与安装
2.1 Charles简介(Charles（HTTP代理服务器）_百度百科 (baidu.com))
- 支持SSL代理。可以截取分析SSL的请求。
- 支持流量控制。可以模拟慢速网络以及等待时间（latency）较长的请求。
- 支持AJAX调试。可以自动将json或xml数据格式化，方便查看。
- 支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化，方便查看。
- 支持重发网络请求，方便后端调试。
- 支持修改网络请求参数。
- 支持网络请求的截获并动态修改。
- 检查HTML，CSS和RSS内容是否符合W3C标准。
2.2 Charles下载网址
在官网上选择计算机相应版本下载即可 https://www.charlesproxy.com/download/
2.3 Charles 配置
参考(14条消息) Python爬取微信小程序（Charles）_偷偷玩两下的博客-CSDN博客_python爬取小程序。这里我们只需要完成Charles的证书配置即可。
Charles安装证书：Help -> SSL Proxying -> Install Charles Root Certificate
点击安装证书
这一步无所谓，点击下一步
勾选**“将所有的证书都放入下列存储§”，然后点击“浏览®…”**。
然后选择**“受信任的根证书颁发机构”**。
- 选择完后点击下一步，最后完成证书导入即可。
在此路径下查看证书是否安装成功：Help -> SSL Proxying -> Install Charles Root Certificate。我的是这样的：
三、开始爬取
3.1 Curl Command获取
- 在Windows端微信登录并进入“校园集市”页面，此时Charles会获取到相应的requests和response文件信息。
- 右键点击相应的请求，复制cURL Request，获取得到了curl Command。
3.2 Curl Command 转换为 python
- 将Curl Command转化成python指令，Convert curl commands to Python (curlconverter.com) <-- 在这个宝藏开源网站即可转换，这些可以直接复制，并运行。
3.3 数据爬取
将上述python代码直接复制并运行，即可得到相应的数据，储存在变量response中，一般都为json的文件格式。在本例中，显然可以通过改变params中的’from_time’变量来请求获取不同时间的数据，从而爬取得到不同的数据。在本文中，json格式数据处理的方式就不加以赘述了，同时，如何得到确定‘from_time’这个的值也是值得探讨的问题。
以下为爬取得到的response中json格式的数据，都是些有趣的话题，但许多也不乏深度。
微信小程序“校园集市”爬取相关推荐
- 【毕业设计】java 微信小程序 校园快递代取系统
一.前言 随着互联网应用的不断普及,快递业不断发展并逐渐渗透到社会行业的各个领域.校园网络购物群体不断增加,便捷和实惠的网络购物深得学生们喜爱,促进了校园快递服务行业的发展.校园快递,是指主要面向校园 ...
- python微信小程序爬虫_Python爬取微信小程序实战（通用）
背景介绍 最近遇到一个需求,大致就是要获取某个小程序上的数据.心想小程序本质上就是移动端加壳的浏览器,所以想到用Python去获取数据.在网上学习了一下如何实现后,记录一下我的实现过程以及所踩过的小坑 ...
- c语言小程序情书,微信小程序-校园小情书前端+后端源码
校园小情书联盟 这是一个关于微信小程序-校园小情书统一中央服务器的概念,现已开源了前后端源码,需要的可以下载源码自行部署,本文主要是介绍我一开始所想的一些概念. github后台源码地址:https: ...
- 微信小程序校园论坛系统丨安卓也可以用
<微信小程序校园论坛+后台管理系统|前后分离VUE>该项目含有源码.论文等资料.配套开发软件.软件安装教程.项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采用前 ...
- uni-app云开发的网盘助手微信小程序源码抓取网盘资源引流好助手
uni-app云开发的网盘助手微信小程序源码抓取网盘资源引流好助手 这是一款uni-app开发的一款网盘小助手小程序源码 该源码主要用于用户输入关键词然后全网抓取百度网盘资源内容 另外呢该小程序还可以 ...
- 微信小程序校园生活小助手+后台管理系统前后分离VUE
博主介绍:✌在职Java研发工程师.专注于程序设计.源码分享.技术交流.专注于Java技术领域和毕业设计✌ 项目名称 微信小程序校园生活小助手+后台管理系统前后分离VUE 系统说明 <微信小程 ...
- [含文档+源码等]微信小程序校园生活小助手+后台管理系统前后分离VUE[包运行成功]
博主介绍:✌在职Java研发工程师.专注于程序设计.源码分享.技术交流.专注于Java技术领域和毕业设计✌ 项目名称 [含文档+源码等]微信小程序校园生活小助手+后台管理系统前后分离V ...
- 精品微信小程序校园第二课堂在线学习网+后台系统|前后分离VUE
<微信小程序校园第二课堂+后台管理系统|前后分离VUE>该项目含有源码.论文等资料.配套开发软件.软件安装教程.项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采 ...
- 基于毕设的微信小程序校园二手商城实现(一)
商城系统没花多少时间在UI美化上,主要实现了微信小程序校园二手商城的一些主要功能.界面是丑了点,但是在开发中学习到了很多的东西.还是非常值得的. 下面来看主界面的主要布局代码,主要知识点是html+c ...
最新文章
- 屏蔽微软的SignalR
- c# winform窗口自适应各种分辨率类
- java word模版填充_[转载]java向word模板中填充数据（总结）
- excel教程自学网_Excel自学教程：万能查找函数Lookup的神应用和技巧
- 移动硬盘无法休眠了？
- 拓端tecdat|R语言中进行期权定价的Heston模型
- 爬取美女图片(python源码)
- Android权限管理及动态申请权限
- 酷柚易汛工资条代码全开源，方便二次开发
- USB Server应用于税控盘的远程集中管理
- Java政府类网站源码_国产java类cms
- java回顾：MyBatis开发、配置、标签、封装会话工具
- RStudio 开发环境配置
- d3d9.dll丢失怎么办
- Matlab 积分相关例题
- 最新的三星android版本号,三星率先公布Android 12/13升级机型名单，可惜S9/Note9被抛弃...
- python 打印一定范围的素数（质数）
- Harbor开源项目有奖征文活动开启
- Java中的boolean类型
- java utf8 简繁转换 类库,java 中文繁简体转换工具 opencc4j