BiLiBiLi

介绍

b站视频详情数据抓取，自动打包并发送到指定邮箱(单个或者群发)

软件架构

定时任务:采用win自带或者time.sleep()
采用python自动化测试(selenium)，获取b站动态生成源码，
采用selenium 和 bs4 对page_source进行规则匹配清洗。
清洗完数据写入json和Excel文件（有json数据转换Excel函数）–按照日期保存；
按日期将文件夹压缩zip
将压缩后的zip发送给指定的邮箱或者邮箱群组

安装教程

更新浏览器版本(Chrome, Firefox, Edge等，方便找对应的webDriver)；自行百度(浏览器名 webdriver)，第一个推介点进去搜索对应的浏览器版本下载(相同最后，没有尽量选择相近)
安装python，和pip
pip install -r requirments.txt,安装依赖，如果安装失败，就手敲吧，一般问题不大
按照使用说明更改必要参数

使用说明

run.py:

修改up_user_name = “立体设计师峥嵘” # up主名：更改你自己要抓取的up主名称

发送邮件参数

mail_cfg = {# 邮箱登录设置，使用SMTP登录'server_username': "xxx@qq.com",  # '你的邮箱''server_pwd': "xxxxx",  # QQ和163邮箱需要：'16位随机码', QQ企业邮箱你的登录密码# 邮件内容设置'msg_to': ['xxx@qq.com', 'xxx@163.com'],  # 可以在此添加收件人单个，多个群发'msg_subject': u'日期：' + num_ct,'msg_date': email.utils.formatdate(),'msg_content': u"正文： BiLiBiLi视屏详情抓取--数据文件， 抓取时间：" + timestr,# 附件'attach_file': target
}

如果只是修改上面说明参数，运行应该问题不大，关键就是webdriver的配置：下载好后不用添加环境变量，只要记录对应位置，代码里面声明就好；邮箱发送功能记得开启SMTP/POP
如果还是有问题，留言评论好了

源码下载

下载链接：https://download.csdn.net/download/weixin_44070137/13092847

b站视频详情数据抓取，自动打包并发送到指定邮箱(单个或者群发)相关推荐

爬虫抓取天气预报、定时发送给指定微信好友，自动回复
效果展示打包成exe文件之后的效果选择城市选择好友(可以对群组发送消息,群组需要先添加到微信通讯录中) 选择发送天气预报的频率选择开启自动回复功能功能实现思路 1.爬取天气信息天气信息获取 ...
B站2020年每周必看热门视频数据盘点（数据分析）1.数据抓取2.数据清洗3.数据分析及可视化
1.数据抓取数据集的获取是我们进行数据分析的第一步.现在获取数据的主要途径一般为:现成数据:自己写爬虫去爬取数据:使用现有的爬虫工具爬取所需内容,保存到数据库,或以文件的形式保存到本地. 博主用的是 ...
掘金站内用户和文章排行分析 | 数据抓取和排序实现
文章教你如何做掘金站内数据抓取,数据解析,最后形成排序后的排名. 项目起因是我突然想看看掘金站内有哪些优质作者,为了不错过每一个大佬,我选择直接抓取站内所有的文章信息找到作者并进行排名.各位关注 + ...
【转】 asp.net从视频文件中抓取一桢并生成图像文件的方法实现多语言本地化应用程序自动返回上次请求页面...
asp.net从视频文件中抓取一桢并生成图像文件的方法 http://www.bianceng.cn/webkf/aspx/201012/21428.htm WebUIValidation.js ht ...
python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
数据抓取工具有哪些-数据抓取工具免费推荐的有哪些
随着社会的进步,科技的发展.不管是企业还是个人都清楚地明白了数据的重要性.不仅可以让我们掌握一手资源,同时还能通过数据更清楚竞争对手.同时也告别了手动复制粘贴的痛苦. 企业人员通过爬取动态网页数据分 ...
R语言网络数据抓取的又一个难题，终于攻破了！
本文作者:杜雨,EasyCharts团队成员,R语言中文社区专栏作者. 兴趣方向:Excel商务图表,R语言数据可视化,地理信息数据可视化. 个人公众号:数据小魔方(微信ID:datamofang) ...
网页数据抓取-网页实时数据抓取软件
网页数据抓取,随着社会的发展,互联网的普及,不管是企业还是个人都意识到数据的重要性.今天给大家分享一款免费的网页数据抓取软件.只要点点鼠标就能轻松采集你想要的内容不管是导出还是自动发布都支持!详细参考 ...
Python爬虫入门实战之猫眼电影数据抓取(理论篇)
前言本文可能篇幅较长,但是绝对干货满满,提供了大量的学习资源和途径.达到让读者独立自主的编写基础网络爬虫的目标,这也是本文的主旨,输出有价值能够真正帮助到读者的知识,即授人以鱼不如授人以渔,让我们直 ...

b站视频详情数据抓取，自动打包并发送到指定邮箱(单个或者群发)

BiLiBiLi

BiLiBiLi

介绍

软件架构

安装教程

使用说明

源码下载

b站视频详情数据抓取，自动打包并发送到指定邮箱(单个或者群发)相关推荐

最新文章

热门文章