外卖订单爬虫 定时自动抓取三大外卖平台上商家订单
这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个特定场景进行开发的。
适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。
主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人
如何使用
修改config目录下的production.json
{"log": {"level": "DEBUG"},"mail": {"from": "company@xxx.com", //邮件发送人"mailTo": "di.mu@xxx.com", //邮件接收人"host":"smtp.xxx.com","port":25,"secure":false,"user":"company@xxx.com", //程序使用的邮件"pass":"程序使用的邮件的密码"},"imgCode":{"key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" // https://www.juhe.cn/docs/api/id/60 识别验证码api的key},"account": [{"name": "美团xxx店","username": "帐户名","password": "账户密码","type": "meituan"},{"name": "饿了么xxx店","username": "帐户名","password": "账户密码","type": "eleme"},{"name": "百度xxx店","username": "帐户名","password": "账户密码","type": "baidu"}]
}
其中以下配置是程序中使用验证码识别的api服务,美团,百度的商家后台都需要验证码登录 api服务使用的是聚合数据的验证码识别API服务,你需要先申请聚合数据的账号,得到key 填写到如下配置项中去。
"imgCode":{"key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" // https://www.juhe.cn/docs/api/id/60 识别验证码api的key},
邮件功能需要配置详细的smtp服务地址、发件人账号名、密码、端口、是否使用ssl
"mail": {"from": "company@xxx.com", //邮件发送人"mailTo": "di.mu@xxx.com", //邮件接收人"host":"smtp.xxx.com","port":25,"secure":false,"user":"company@xxx.com", //程序使用的邮件"pass":"程序使用的邮件的密码"},
GitHub地址:https://github.com/mudiyouyou/waimai-crawler
外卖订单爬虫 定时自动抓取三大外卖平台上商家订单相关推荐
- 外卖订单爬虫 定时自动抓取三大外卖平台上商家订单(美团,饿了么,百度外卖)
最近外卖分销小程序.电影票小程序比较火爆,引流裂变极快,很多人短期内积累的大量粉丝,赚了不少钱! 另外也有一些刚刚入局的小伙伴不知道如何推广,下面给大家分享一下外卖分销小程序的推广方法,供大家参考! ...
- 知乎爬虫之4:抓取页面数据
git爬虫项目地址( 终于上传代码了~~~~关注和star在哪里):https://github.com/MatrixSeven/ZhihuSpider(已完结) 附赠之前爬取的数据一份(mysql) ...
- java 爬数据工具 知乎_知乎爬虫之4:抓取页面数据
本文由博主原创,转载请注明出处:知乎爬虫之4:抓取页面数据 咱们上一篇分析了知乎的登陆请求和如何拿到粉丝/关注的请求,那么咱们这篇就来研究下如何拿利用Jsoup到咱们想要的数据. 那么咱们说下,首先请 ...
- 如何抓取淘宝天猫上多个宝贝商品图片视频素材
今天小编要介绍的是,如何在淘宝天猫上挑选到喜欢的商品,并将所挑选到的商品图片及视频素材批量导到自己的电脑上保存?下面一起来看看小编的演示操作吧. 操作需要用的工具:载图助手 首先运行载图助手,进入首界 ...
- 利用 Python 自动抓取微博热搜,并定时发送至邮箱
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 夜阑卧听风吹雨,铁马冰河入梦来. ...
- 什么是网络爬虫?它是如何工作的以及如何自动抓取
网络爬虫 是了解 Internet 工作原理的基本知识.如果打算将来进行网络营销或销售,或者进行网络数据相关工作的话,就一定要接触到网络爬虫. 文章目录 网络爬虫 什么是网络爬虫? 什么是网络爬虫机器 ...
- 我是如何白嫖 Github 服务器自动抓取每日必应壁纸的?
如何使用 Github 服务器自动抓取必应搜索的每日壁纸呢? 如果你访问过必应搜索网站,那么你一定会被搜索页面的壁纸吸引,必应搜索的壁纸每日不同,自动更换,十分精美.这篇文章会介绍如何一步步分析出必应 ...
- 如何使用 Github Actions 自动抓取每日必应壁纸?
Hello world : ) 微信搜「 程序猿阿朗 」.点赞再看,动力无限. 本文 Github.com/niumoo/JavaNotes 和 未读代码博客 已经收录,有很多知识点和系列文章. 如何 ...
- 逆向爬虫18 Scrapy抓取全站数据和Redis入门
逆向爬虫18 Scrapy抓取全站数据和Redis入门 一.全站数据抓取 1. 什么是抓取全站数据? 我们曾经在过猪八戒,图片之家,BOSS直聘等网站,利用网站官方提供的搜索功能,搜索指定关键词的内容 ...
最新文章
- 免费的XShell替代品,同时支持Windows,macOS,Linux!又来一款国产良心工具....
- linux awk语法格式,Awk是什么?一文带运维小白快速掌握Linux Awk用法
- profiles 配置详解
- 学生信息管理C语言 密码,求学生信息管理系统C语言版
- QML基础类型之color
- 特征值与特征向量_机器学习和线性代数 - 特征值和特征向量
- Android到底何去何从?来自腾讯、阿里、京东、网易、美图等大咖为你揭晓
- java基础—集合 Vcetor 基本方法演示
- 云图说|ModelArts Pro,为企业级AI应用打造的专业开发套件
- 独轮车(广搜_队列)
- 淘宝API代码c#实例(摘)
- Lattice、ALTERA、Xilinx FPGA元件封装信息官网下载地址
- 遗传算法解决车辆路径问题
- .NET 再出发, 20岁生日快乐
- gdb x 命令详解
- java 斜杠常量_Java基础之常量
- 408计算机考研后期规划-10月起
- cartographer源码解析(二)node_main.cc文件详解
- 2018 年第二十三届全国青少年信息学奥林匹克联赛初赛
- 量子Fourier变换笔记