使用Python爬取考勤信息

最近公司的加班调休审批制度有一些调整，由于公司网站上没有清楚的标明各自有多少天可以调休，所以为了清楚的知道自己还有多少天可以调休，就想着使用爬虫爬一下考勤信息，把它放在一个Excel表中以方便查阅。最近项目不是很忙，也趁机学习学习Python爬虫。

一、环境准备

1.首先需要先安装Python，笔者使用的Python3.X。
2.然后使用pip安装工具安装爬虫所需要的非标准库
主要使用到以下一些非标准库：

selenium：为了模拟浏览器操作
win32：为了解密浏览器Cookies
openpyxl：为了操作Excel

使用pip工具安装：

pip install selenium
pip install pywin32
pip install openpyxl

3.由于笔者使用的是浏览器的模拟操作，所以还需要下载一个WebDriver，笔者使用的Chrome浏览器，所以下载与Chrome版本相对应的WebDriver放在Python的安装目录下。

二、编码

1.首先，我们把所有需要使用到的库加进来

from win32 import win32crypt
from os import getenv
import sqlite3
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
import datetime
import openpyxl
from openpyxl.comments import Comment
from openpyxl.styles import Font, colors, Alignment
import math
import re

2.使用浏览器模拟操作
使用浏览器模拟操作时，可以选择浏览器是否可见。

opt = webdriver.ChromeOptions()opt.headless = True  # 浏览器是否可见driver = webdriver.Chrome(options=opt)

创建好了WebDriver后，就可以登录网站了：

driver.get('https://mis.XXXXX.cn')

由于网站是需要登录的，所以要模拟登录过程。使用浏览器模拟登录有两种方式，使用账号密码直接登录和使用之前登录过的Cookies登录。

直接登录
直接登录需要找到账号与密码输入框，在账号密码框中输入相应的账号与密码，再点登录。

usr_name = driver.find_element_by_class_name("ant-input") # 找到账号输入框
psw = driver.find_element_by_id("inputPassword") # 找到密码输入框
submit_btn = driver.find_element_by_class_name("ant-btn") # 找到登录按钮
usr_name.send_keys("abc")  # 输入账号
psw.send_keys("abc") # 输入密码
submit_btn.click() # 点击登录按钮

BTW：由于各个网站使用的标签不一样，所以标签仅供参考。

使用Cookies登录
这里定义了一个函数专门获取Chrome浏览器下考勤网站的Cookie

def get_cookie_from_chrome():conn = sqlite3.connect(getenv("LOCALAPPDATA") + r"\Google\Chrome\User Data\Default\Cookies")cursor = conn.cursor()cursor.execute('select host_key, name, encrypted_value, path, is_httponly, is_secure from cookies where host_key like "%mis.XXXXX.cn%"')cookies = []for result in cursor.fetchall():value = win32crypt.CryptUnprotectData(result[2], None, None, None, 0)[1]if value:is_http_only = Falsesecure = Falseif result[4] != 0:is_http_only = Trueif result[5] != 0:secure = Truecookie = {'domain': result[0],'httpOnly': is_http_only,'name': result[1],'path': result[3],'secure': secure,'value': value.decode('utf-8')}cookies.append(cookie)cursor.close()return cookies

获取到Cookies之后将之添加到WebDriver中：

cookies = get_cookie_from_chrome()
for cookie in cookies:driver.add_cookie(cookie)
driver.get('https://mis.XXXXX.cn')

由于网站使用了大量的Ajax以及Frame技术，所以需要等待一段时间，让数据加载完成。可以直接使用

time.sleep

函数进行显示等待，也可以使用selenium的expected_conditions条件等待。
前者简单明了，但是如果在指定的时间内数据未加载完成，获取就会失败，出现异常；后者是设置一个最大等待时间，在此时间内根据设定的间隔时间不断检测是否出现指定的数据，如果出现则继续向后执行，否则等待直到最大等待时间超时。

这里网站使用了Frame技术，左边有一个树型结构，里面有一个“个人考勤”，点了“个人考勤”后，右边才会出现个人考勤的详细列表，如下图：

所以需要切换Frame，然后点击“个人考勤”

wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID, 'left')))
work_day = wait.until(EC.element_to_be_clickable((By.ID, "sundefined5")))
work_day.click()

这段话的意思是直到找到ID为‘left’的Frame，成功切换过去为止，然后直到找到ID为"sundefined5"的元素且可以被点击时，点击它。点击了“个人考勤”后，右边就会出现详细的考勤列表。
由于这个时候还在“left”Frame中，需要切换到新的个人考勤，就需要先切换到“left“的父Frame再切到”个人考勤“Fame

driver.switch_to.parent_frame()
wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID, 'dz-kaoqin_iframe')))

切换到考勤详细列表后，开始找数据然后分析数据：

wait.until(EC.presence_of_element_located((By.XPATH, "//tbody/tr")))
date_list = wait.until(EC.presence_of_element_located((By.XPATH, "//tbody")))
flag, lst = parse_work_time(driver, text)  # 这里使用一个专门的函数来分析数据

考勤列表的日期项可以点开，然后弹出一个对话框，详细列出了打卡记录，但如果有没上班，则为空

所以需要模拟点击日期，再获取打卡记录，获取完后，再把“打卡信息”对话框关闭，继续获取下一天的信息

item = wait.until(EC.element_to_be_clickable((By.LINK_TEXT, lst[0])))
item.click() # 点击日期
wait.until(EC.frame_to_be_available_and_switch_to_it((By.XPATH, '//iframe[@frameborder="0"]'))) # 切换到“打卡信息”对话框
time.sleep(0.2)  # 这里只能使用sleep，因为这里可能只有tbody而没有数据
record_text = driver.find_element_by_xpath("//tbody").text  # 获取所有打卡记录，保存在record_text中
driver.switch_to.parent_frame() # 返回父Frame
close_btn = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, "layui-layer-ico"))) # 找到“打卡信息”对话框的关闭按钮
close_btn.click() # 点击关闭按钮，关闭“打卡信息”对话框

如果有考勤异常或者请假单之类的，也会有一个链接，可以查看请假单记录：

bill_list = driver.find_elements_by_class_name("link-billId")
for bill in bill_list:bill.click()wait.until(EC.frame_to_be_available_and_switch_to_it((By.XPATH, '//iframe[@frameborder="0"]')))time.sleep(0.2)form = driver.find_element_by_xpath('//form')work_time.bill_text = form.textdriver.switch_to.parent_frame()close_btn = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, "layui-layer-ico")))close_btn.click()return

把考勤信息爬取到后，就需要写入Excel表了。这里使用openpyxl库来写入，因为我试了xlwings以及xlwt两个库都不支持批注，只有openpyxl支持。

def write_to_excel(work_time_list, file_path):wb = openpyxl.Workbook()    # 打开一个工作薄wb.encoding = 'utf-8'  # 使用UTF8编码sh = wb.worksheets[0]  # 获取第一个sheetsh.title = "考勤"  #将标题改为考勤sheet = wb.create_sheet("原始文本记录")  # 创建一个“原始文本记录”的表# 设置“考勤”表的表头row = 1col = 1sh.cell(row, col, '日期')sh.cell(row, col + 1, '上班时间')sh.cell(row, col + 2, '下班时间')sh.cell(row, col + 3, '上班打卡时间')sh.cell(row, col + 4, '下班打卡时间')sh.cell(row, col + 5, '最晚到时间')sh.cell(row, col + 6, '迟到分钟')sh.cell(row, col + 7, '早退分钟')sh.cell(row, col + 8, '考勤状态')sh.cell(row, col + 9, '单据编号')sh.cell(row, col + 10, '单据类型')sh.cell(row, col + 11, '工作分钟')sh.cell(row, col + 12, '工作小时')sh.cell(row, col + 13, '是否加班')sh.cell(row, col + 14, '剩余可调休加班小时')# 设置“考勤”表的列宽sh.column_dimensions['A'].width = 18sh.column_dimensions['B'].width = 8sh.column_dimensions['C'].width = 8sh.column_dimensions['D'].width = 12sh.column_dimensions['E'].width = 12sh.column_dimensions['F'].width = 10sh.column_dimensions['G'].width = 8sh.column_dimensions['H'].width = 8sh.column_dimensions['I'].width = 8sh.column_dimensions['J'].width = 18sh.column_dimensions['K'].width = 20sh.column_dimensions['L'].width = 8sh.column_dimensions['M'].width = 8sh.column_dimensions['N'].width = 8sh.column_dimensions['O'].width = 18sheet.column_dimensions['A'].width = 100blue_font = Font(name='宋体', size=11, italic=False, color=colors.BLUE, bold=False)red_font = Font(name='宋体', size=11, italic=False, color=colors.RED, bold=False)over_work_time_acc = 0for item in work_time_list:calc_work_time(item)time_hour = parse_bill_info(item)sheet.cell(row, 1).value = item.origin_textrow = row + 1col = 1dt = datetime.datetime.strptime(item.date, "%Y-%m-%d")weekday = dt.weekday() + 1cell = sh.cell(row, col, item.date + '(星期' + str(weekday) + ')')has_comment = Falseif item.record_text.__len__() > 0:cell.comment = Comment(item.record_text, None, width=350)  # 设置批注has_comment = Truesh.cell(row, col + 1, item.start_time)sh.cell(row, col + 2, item.end_time)sh.cell(row, col + 3, item.real_start_time)sh.cell(row, col + 4, item.real_end_time)sh.cell(row, col + 5, item.late_start_time)sh.cell(row, col + 6, item.late_time)sh.cell(row, col + 7, item.before_time)sh.cell(row, col + 8, item.status)sh.cell(row, col + 9, item.handle_sn)if item.bill_text.__len__() > 0:sh.cell(row, col + 9).comment = Comment(item.bill_text, None, width=550)sh.cell(row, col + 10, item.handle_type)sh.cell(row, col + 11, item.valid_work_time)valid_work_time = math.floor(item.valid_work_time / 60)if valid_work_time > 8:valid_work_time = 8sh.cell(row, col + 12, valid_work_time)if weekday == 6 or weekday == 7:if has_comment and item.status == '休息':sh.cell(row, col + 13, '加班')over_work_time_acc += valid_work_timeover_work_time_acc -= time_hoursh.cell(row, col + 14, over_work_time_acc)if weekday == 6 or weekday == 7:for col in range(1, sh.max_column + 1):if has_comment:sh.cell(row, col).font = red_fontelse:sh.cell(row, col).font = blue_fontwb.save(file_path)  # 保存Excel表wb.close() # 关闭return

保存下来的内容如图所示：

祝好