Python爬虫监控（邮件和钉钉）

文章目录

一、监控的意义
二、Python邮件监控（SMTP）
1. SMTP简介
2. 邮件监控五个步骤
3. 邮件监控发送（代码）
二、钉钉监控

一、监控的意义

爬虫脚本是基于网站的结构去写的，但是随着互联网的发展，很多公司的页面结构会发生变化，发生的变化就会导致我们写的爬虫失效，最主要的失效方式是xpath的失效。随着我们写的爬虫越来越多，越就越来越难以发现这些失效的脚本，导致数据更新失败，不及时，或者不满足抓取的质量和数量要求。这就需要对爬虫的脚本进行监控。

监控的目的是让数据及时的更新，脚本及时的发现bug以及解决bug。提高我们的工作效率。更好的保证线上数据产品的优质性。

我们需要介绍两种常见的监控方式：1、邮件 2、钉钉

二、Python邮件监控（SMTP）

1. SMTP简介

SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。
python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。

Python创建 SMTP 对象语法如下：

import smtplib
smtpObj = smtplib.SMTP( [host [, port [, local_hostname]]] )

参数说明：

host: SMTP 服务器主机。你可以指定主机的ip地址或者域名如: runoob.com，这个是可选参数。
port: 如果你提供了 host 参数, 你需要指定 SMTP 服务使用的端口号，一般情况下 SMTP 端口号为25。
local_hostname: 如果 SMTP 在你的本机上，你只需要指定服务器地址为 localhost 即可。

Python SMTP 对象使用 sendmail 方法发送邮件，语法如下：

SMTP.sendmail(from_addr, to_addrs, msg[, mail_options, rcpt_options])

参数说明：

from_addr: 邮件发送者地址。
to_addrs: 字符串列表，邮件发送地址。
msg: 发送消息

这里要注意一下第三个参数，msg 是字符串，表示邮件。我们知道邮件一般由标题，发信人，收件人，邮件内容，附件等构成，发送邮件的时候，要注意 msg 的格式。这个格式就是 smtp 协议中定义的格式。

2. 邮件监控五个步骤

 #导入邮件包import smtplib# 1.创建邮件对象smtp_obj = smtplib.SMTP()# 2.连接服务器smtp_obj.connect()#3.登录操作smtp_obj.login()#4.发邮件smtp_obj.sendmail()#5.退出操作smtp_obj.quit()

3. 邮件监控发送（代码）

# 导入发送邮件包
import smtplib
from email.mime.text import MIMEText  # 用来创建文本格式的邮件体内容
from email.mime.multipart import MIMEMultipart
from email.mime.image import MIMEImageclass Send_Email:def __init__(self, num):self.num = numself.smtp = self.get_conn()# print(self.smtp)self.send_email()def get_conn(self):# 创建邮件对象smtp_obj = smtplib.SMTP()# 连接服务器smtp_obj.connect("smtp.163.com")# 登录邮箱smtp_obj.login("13349949963@163.com", "zb376100870")return smtp_objdef send_email(self):# 定义发送邮件的三要素sender = "13349949963@163.com"receiver = "376100870@qq.com"# 获取发送邮件的 邮件体msg = self.get_msg(sender, receiver)# 发送邮件self.smtp.sendmail(from_addr=sender, to_addrs=receiver, msg=msg.as_string())print("send success")def get_msg(self, sender, receiver):# 定义邮件主题subject = "恭喜你 你已经被阿里巴巴公司录用 "# 获取邮件体中的 文本内容（消息体）msg = self.get_content()# 生成邮件体的 三要素msg["From"] = sendermsg["To"] = receivermsg["Subject"] = subjectreturn msgdef get_content(self):if self.num == 1:content = "请xx准时报到"# 将内容写到面板中  文本格式msg = MIMEText(content, "plain", "utf-8")return msgelif self.num==2:# 读取文件# with open("02.html", "r", encoding="utf-8") as f:#     content = f.read()# print(type(content))content = """<html><h1>请xx准时报到<h1><a href="https://www.baidu.com/">baidu</a></html>"""print(content)msg = MIMEText(content, "html", "utf-8")return msgelif self.num==3:#获取含有内嵌图片资源的HTML格式的邮件体msg=self.get_pic()return msg#获取图片信息def get_pic(self):#通过cid图片文件关联起来content="<b>Some<i>HTML</i>text</b> and an image <br><img src='cid:image1'><br>goood"#如果content 中内嵌资源，必须定义related字段#使用related定义内嵌套资源的邮件体msgRoot=MIMEMultipart("related")#创建HTML格式的邮件体msgText=MIMEMultipart(content,"html","utf-8")#将msgText中的内容附加到MIMEMultipart对象中msgRoot.attach(msgText)#读取图片文件内容with open("2.jpg","rb")as f:result=f.read()#使用图片信息创建一个图片对象msgImage=MIMEImage(result)#指定文件的Content-ID 为image1msgImage.add_header("Content-ID","image1")#将msgImage中的图片内容附加到MIMEMultipart对象的指定image1当中msgRoot.attach(msgImage)#返回携带有内嵌套图片资源的HTML格式邮件的MIMEMultipart对象return msgRootdef __del__(self):# 关闭self.smtp.quit()if __name__ == '__main__':#  1  # 发送的邮件体是字符串2  # 发送一个html的邮件体3 # 发送一个图片的邮件体num=int(input("请发送邮件所对应的数字"))Send_Email(num)

应用场景：

链家租房每天都要爬取一遍插入数据库的时候需要增加一个字段更新插入时间refresh_time如果爬虫正常这样就可以保证每天的refresh_time都是最新的
如何监控那些不正常更新的渠道（例如：链家租房）,你可以写sql语句查询每个渠道的更新时间;。如果是最新的更新时间则说明是正常；如果不是判断多久没有更新，说爬虫数据异常。这时需要给指定的负责人发邮件让他修改代码使得爬虫正常运行。

邮件监控和下面的钉钉监控一样，可以根据钉钉监控来改写

二、钉钉监控

链家租房监控脚本

import pymysql
import time
import requests
'''
kpi小姐姐的api接口：
https://oapi.dingtalk.com/robot/send?access_token=8daebe660297f090e6839b6a4454ff05382b59f3d515b3d7c14bc07f5fb642dd
'''class Moniter:def __init__(self):self.conn_mysql()self.get_data()def conn_mysql(self):# 创建数据库的连接对象# 字符集是utf8 不是utf-8self.conn = pymysql.connect(host="127.0.0.1", user="root",password='123',database="0218", charset="utf8")# 创建操作数据库的对象self.cur = self.conn.cursor()def get_data(self):# 定义一天前的时间戳day_ago = time.time() - 86400# 定义查询出总数和更新数量的sql语句sql = """select count(*) from lianjiaunion select count(*) from lianjia where refresh_time > {}union select phone from source_name where source = "lianjia"""".format(day_ago)# 执行sql语句 并获取sql语句查询出来的 数据self.cur.execute(sql)self.conn.commit()data = self.cur.fetchall()# print(data, type(data))# 提出数据 获取总数 和更新数total_count = int(data[0][0])refresh_count = int(data[1][0])phone = data[2][0]# print(total_count, refresh_count, phone)# 生成刷新数量的 百分比per_no_refresh = refresh_count / total_count# print(per_no_refresh)#如果最新数据的占比小于80%，则说明需要提醒if per_no_refresh < 0.8:per_no_refresh = "%.2f%%" % (per_no_refresh * 100)# print(per_no_refresh)# 发送钉钉消息self.dingding(phone, per_no_refresh)def dingding(self, phone, per_no_refresh):dd_api = "https://oapi.dingtalk.com/robot/send?access_token=" \"8daebe660297f090e6839b6a4454ff05382b59f3d515b3d7c14bc07f5fb642dd"# print(phone, per_no_refresh)dd_json = {"msgtype": "text","text": {"content": "你的渠道有问题 请及时解决 更新比例为：{}".format(per_no_refresh)},"at": {"atMobiles": [phone,"18679030315"],"isAtAll": False}}requests.post(dd_api, json=dd_json)print("send success")def __del__(self):self.cur.close()self.conn.close()if __name__ == '__main__':Moniter()

如果想要和我交流，就关注我的微信公众号：梓栋Code