论比价网小程序的可实施性(2020-9-11)
身边有个有想法的朋友也是一件好事。朋友说：我只想要一个能够比较价格的小程序，要求很简单。于是我埋头专研，多方查找资料，于是我放弃了帮他实现这个看似简单的想法的小程序实现。
其实比价网的原理很简单，就是爬取网站商品资源。于是我实验的爬取目标是京东和淘宝。
经此我发现
1. 淘宝的反爬虫能力做的太好了。
使用淘宝搜索地址遇到需要登录问题，登录问题往常可用selenium（python的自动化测试工具）模拟登录，不过淘宝的登录机制越发完善，需要通过滑块验证来登录，自动化工具是无法做到的，所以爬不了，硬要突破的话，是犯法的，放弃吧。
2.京东返回的页面商品有限
使用京东的搜索地址获取到搜索页面的html，但是获取到的html并不包含所有商品信息，使用javascript触发加载的商品信息无法获取到，爬取信息返回也比较少，实际使用意义不大
因此我还发现关于爬虫有趣的东西，作为日后代码的参考，以下内容摘自于知乎。
法律条文规定
未经授权爬取用户手机通讯录超过 50 条记录；未经授权抓取用户淘宝交易记录超过 500 条；未经授权读取用户运营商网站通话记录超过 500 条；未经授权读取用户公积金社保记录的超过 50000 条的。以上这些情况可以入刑
做爬虫的建议
1、爬虫访问频次要控制，别把对方服务器搞崩溃了
2、涉及到个人隐私的信息不能爬（如电话号，身份证号，家庭住址，工作单位，行踪轨迹）
3、突破网站的反爬措施，后果很严重
正规的网站都会在根目录下放置 robots.txt，这里就规定了哪些能爬，哪些不能爬，谁可以爬，比如知乎的robots.txt，不过呢，知乎并没有做特别严厉的反爬措施，这就是说，如果你偷偷的爬一点东西，不影响它的正常服务，它也懒得找你麻烦，但对于那种反爬特别严重的，例如淘宝，你最好别去爬，如果你真的利用你的高智商突破了淘宝的反爬措施，那么就违法了
4、 不要用爬取的数据做不正当竞争
比如你把大众点评的评论数据都爬下来了，然后自己搞了一个xx点评，这肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松的弄下来，直接拿来主义，跟人家竞争，就是违法
5、 付费内容，不要抓
既然是付费内容，说明这东西价值很高，付费才能看，你弄下来了，想私自传播，就对网站造成了潜在损失。
6、突破网站反爬措施的代码，最好不要上传到网上
你技术很牛，能突破网站的反爬措施，把这些代码发布到网上，比如github，自己没做啥坏事，可是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的
不论是否能够实现，以我目前的技术而言，我是实现不了了，如有大神也欢迎探讨。虽然是一个没有成功的案例，但是查询资料的过程也是自我成长的过程，这样方能不断的给予自己能量，在这条路上越走越远。
论比价网小程序的可实施性(2020-9-11)相关推荐
- 企业官网小程序搭建教程
移动互联网时代,人们都习惯在手机上浏览信息.微信作为超级APP,在微信小程序上搭建一个企业官网,一是方便顾客了解企业经营的业务,二也可以通过小程序的分享来提高企业的知名度.本文就利用微搭低代码这款开发 ...
- 企业官网小程序有什么作用
现在基本上所有的企业都有自己的官网,不管企业的规模是大是小,建设一个官网是非常必要的.因为官网相当于企业的官方形象,它代表一种权威.官网一般是由企业建立并建设的网站,是企业的意志体现,有着自己的特独功 ...
- 精美企业公司官网小程序源码 自带十几款模板 一键生成 全开源版
简介: 精美企业公司官网小程序 yyf_company 33.0.15安装更新一体包 自带十几款模板 一键生成 全开源版 支持创建多个小程序!(理论上只要服务器配置够,可以生成无限个) 可在后台修改全 ...
- 随机抽人名小程序_岛游网小程序1.0.1版本更新公告
为了给各位阴阳师大人带来更好的使用体验,岛游网小程序将于2020年11月14日由1.0.0版本升级至1.0.1版本,升级期间小程序可能会出现访问不稳定或短时间内无法访问的情况,给各位带来的不便,敬请谅 ...
- 安信可分享 | 分享一个基于airkiss协议的配网小程序，实现小程序一键配网安信可ESP32C3\ESP8266\ESP32\ESP32S2系列的模组。(附带源码)
文章目录 一.关于 WeChatAirkiss 1.1 应用场景 二.airkiss 简介 三.开始使用 四.API说明 五.FAQ 六.开源微信物联网控制一览表 联系我们 一.关于 WeChatAi ...
- 小程序未来发展趋势怎样？2020最新趋势分析
小程序未来发展趋势怎样?小程序未来是否还有发展空间?小程序最新趋势怎么样?诸如此类的问题,经常有朋友和客户问到.今天这篇文章,就针对这些问题,跟大家做下深度分享与解答! 在谈微信小程序未来发展趋势之前 ...
- ccsa安学网小程序_【大检修】“CCSA安学网”掀起指尖上的学习热潮，助力1#大检修...
你下载"CCSA安学网"了吗? 自该学习平台推广使用以来,炼油二部统一安排部署,指定专人负责平台下载和学习情况统计,以班组为单位组织全体员工下载注册,积极打卡,通过手机客户端让参与 ...
- 精美企业官网小程序源码,自带十几款模板适合各个行业 如保险 装修 服装 母婴 教育 旅游 婚庆 幼儿园等
源码介绍: 智能广告位,可在首页任何位置插入图片,以及点击图片跳转等功能: 新增旅游类模板一套.环保工程类模板一套: 新增幻灯片跳转外链,小程序功能. 支持创建多个小程序!(理论上只要服务器配置够,可 ...
- 生日快乐程序_「秒福」小程序：送祝福，2020我们不一样
新年将至,大家是否感觉到一丝新年的气息,感受到新的一年到来的喜悦呢?过年最少不了的一件事....当然是送祝福! 新的一年让我们不忘初心,继续前行.今天小编教大家一波送祝福的新姿势,告别群发祝福. [秒 ...
最新文章
- URAL - 1902 Neo-Venice
- apiexample.c例子教我们如何利用FFMPEG库中的API函数来编写自己的编解码程序
- 【Python CheckiO 题解】Right to Left
- Python 处理分析 128 张 Excel 表格竟不到3秒？| 附数据集
- 安卓使用MediaPlayer自定义音频视频播放器
- [转载] Python3基础：08_02_面向对象编程(OOP)——类和对象
- workbench字符匹配错误_猪憨憨刷题笔记-LeetCode-10 正则表达式匹配
- 得力D991CN Plus计算器评测（全程对比卡西欧fx-991CN X）
- rust 使用fltk 的小问题
- 考研日语线上笔记（一）：考研日语203大纲陌生、易混词汇本
- 移动平均法（Moving average，MA） 指数平滑法（Exponential Smoothing，ES）
- 计算机数值换算在线,计算机单位换算(计算机单位换算在线)
- 小白Mac C/C++ for Visual Studio Code配置
- opencv图像处理学习（六十八）——肤色检测
- eCharts改变饼图的默认颜色
- ALLOCATE语句分配FORTRAN动态数组方法
- 免费抽奖 | 《阿巴豆》探索未来系列盲盒数字版权作品全网首发！
- du -sh查看隐藏文件的大小
- Vue.use 是⼲什么的？
- Hznu_0j 1557