项目名称：登陆考勤管理系统爬取个人考勤信息并写入excel表格

编写目的：

公司经常要统计员工的考勤信息，而员工每次都要登陆考勤系统，再复制相关信息出来，贴到EXCEL，再转给统计人员，统计人员再挨个核对，麻烦无比，实在是看不下去了。我擦。。。。。

由于登陆的是内网的考勤系统，出了公司就登陆不了，所以本篇文章仅做参考，来体验一下cookie、post与get登陆使用。

先说用用到哪些知识吧：

1、tkinter Gui编程，写爬虫没有GUI怎么能行

2、cookie

3、post,get

其实不多是吧，简单。

要爬取一个网站，总得要矢爬的网站登陆地址，及登陆信息吧。分析一下看看。。。

好的，我们获取了如下信息：

登陆地址：LoginUrl = 'http://17.xx.xx.xx/j_acegi_security_check'

post提交：post_data = {'j_username':'your_username','j_password':'your_password'}

那就开工 ，写一下登陆代码吧

#!/usr/bin/env python

# _*_ coding:utf-8 _*_

import urllib

import urllib2

import cookielib

LoginUrl = 'http://17.xx.xx.xx/j_acegi_security_check'

post_data = {'j_username':'your_username','j_password':'your_password'}

# 定义一个类

class kaoqin_login(object):

def __init__(self):

self.cj = cookielib.CookieJar() # 初始化一个cookie补全，用于存储cookie

self.handler = urllib2.HTTPCookieProcessor(self.cj) # 创建一个cookie处理器

self.opener = urllib2.build_opener(self.handler) # 创建一个功能强大的opener

def login(self,url,post): # post提交

post_data = urllib.urlencode(post) # 编码post数据为标准格式

req = urllib2.Request(url,post_data) # 做为data参数传给Request对象,此处也可以写成data=post_data

response = self.opener.open(req) # 登陆网站，获取返回结果

print response.url

if __name__ == '__main__':

cls = kaoqin_login()

cls.login(LoginUrl,post_data)

返回信息如下：

http://17.xx.xx.xx/;jsessionid=7AC236C4B9C5E653208D59ECCE55E8EF

好，登陆成功了，之后怎么办呢？嗯，对了，找一下考勤页面在哪里，分析一下吧

瞧，真实页面的信息就这些了。自己把url和post信息整理出来吧，注意，提交表单信息要写成字典，url呢，问号之前的都是了。

示例代码

#!/usr/bin/env python

# _*_ coding:utf-8 _*_

import urllib

import urllib2

import cookielib

import json

LoginUrl = 'http://17.xx.xx.xx/j_acegi_security_check'

post_data = {'j_username':'your_username','j_password':'your_password'}

# 定义一个类

class kaoqin_login(object):

def __init__(self):

self.cj = cookielib.CookieJar() # 初始化一个cookie补全，用于存储cookie

self.handler = urllib2.HTTPCookieProcessor(self.cj) # 创建一个cookie处理器

self.opener = urllib2.build_opener(self.handler) # 创建一个功能强大的opener

def login(self,url,post): # post提交

post_data = urllib.urlencode(post) # 编码post数据为标准html格式

req = urllib2.Request(url,post_data) # 做为data参数传给Request对象,由request做post数据隐式提交,此处也可以写成data=post_data

response = self.opener.open(req) # 登陆网站，获取返回结果

print response.url

def get_response(self,url,post): # get方式提交数据

get = urllib.urlencode(post) # 将提交的数据编码成html标准格式

response = self.opener.open(url,get) # 将标准的编码数据放到url后面，变成真正的url地址

try:

JsData = json.loads(response.read())

return JsData['datas']

except Exception as e:

return False

if __name__ == '__main__':

cls = kaoqin_login()

cls.login(LoginUrl,post_data)

Login = 'http://17.xx.xx.xx/km/attendance/km_attendance_main/kmAttendanceMain.do'

data ={

'method':'data'

,'categoryId':''

,'q.s_raq':0.5949037911774411

,'pageno':2

,'rowsize':15

,'orderby':'fdAttendanceDate'

,'ordertype':'down'

,'s_ajax':'true'

}

jsdata = cls.get_response(Login,data)

print jsdata

好了，数据取到了，发一下全部的代码吧.

上面的代码是我重点想说的，下面的代码就不是那么重要了，关于excel的读取，博客里有详细的解释，GUI开发也有相关文档。

#!/usr/bin/env python

# _*_ coding:utf-8 _*_

import urllib

import urllib2

import cookielib

import json,re,time

'''

因为脚本只取了前4页数据，所以最好用来爬取本月的考勤信息

如需爬取其它月的信息，需要更改代码

for i in range(1,5) 将5改为更大，最大15

'''

# ==============框口区==================

from Tkinter import *

from ScrolledText import ScrolledText

import tkFileDialog

root = Tk()

root.iconbitmap('../data/spider_128px_1169260_easyicon.net.ico')

root.title('邮储个人考勤记录爬虫')

# 第一行

Label(root,text='考勤日期',fg='#8F8C8F').grid(row=0,column=0)

var_date1 = StringVar()

var_date1.set('2016-01-01')

var_date2 = StringVar()

var_date2.set('2016-01-31')

date1 = Entry(root,fg='red',bg='#FFFACD',textvariable=var_date1)

date1.grid(row=0,column=1)

Label(root,text='至',fg='#8F8C8F').grid(row=0,column=2)

date2 =Entry(root,fg='red',bg='#FFFACD',textvariable=var_date2)

date2.grid(row=0,column=3)

# 第二行

Label(root,text='用户密码文件',fg='#8F8C8F').grid(row=1,column=0)

var = StringVar()

def get_file():

filename = tkFileDialog.askopenfilename(initialdir='c:')

var.set(filename)

def get_file_des():

filename = tkFileDialog.askopenfilename(initialdir='c:')

ent_des.set(filename)

var.set(r'C:\spider_dev\data\kaoqin_user_pwd.txt')

Ent = Entry(root,textvariable=var).grid(row=1,column=1)

Button(root,text='选择文件',command=get_file,fg='#006400').grid(row=1,column=2)

ent_des = StringVar()

timpsta = '%d'%(time.time()*1000)

ent_des.set(r'C:\spider_dev\data\kaoqin_%s.xls'%str(timpsta))

Ent_d = Entry(root,textvariable=ent_des).grid(row=2,column=1,sticky=N)

Button(root,text='目标文件',command=get_file_des,fg='#006400').grid(row=2,column=2,sticky=N)

T_logi_info = ScrolledText(root,width=20)

T_logi_info.grid(row=2,column=0)

# 标签

v_lable = StringVar()

v_lable.set('错误记录...')

Label(root,textvariable=v_lable,fg='red').grid(row=3,column=0)

# 信息框

text = ScrolledText(root,bg='#87CEFA')

text.grid(row=0,column=4,rowspan=3)

# ==============框口区==================

# --------------爬虫区-----------------

class kaoqin_login(object):

def __init__(self):

self.cj = cookielib.CookieJar()

self.handler = urllib2.HTTPCookieProcessor(self.cj)

self.opener = urllib2.build_opener(self.handler)

def login(self,url,post):

post_data = urllib.urlencode(post)

req = urllib2.Request(url,post_data)

response = self.opener.open(req)

if response.code == 200:

return True

else:

return False

def get_response(self,url,post):

get = urllib.urlencode(post)

response = self.opener.open(url,get)

try:

JsData = json.loads(response.read())

return JsData['datas']

except Exception as e:

return False

def post_page(self,pages):

get={

'method':'data'

,'categoryId':''

,'q.s_raq':0.9518796035349586

,'pageno':pages

,'rowsize':15

,'orderby':'fdAttendanceDate'

,'ordertype':'down'

,'s_ajax':'true'

}

return get

def get_data_file(self,filename):

with open(filename,'rb') as f:

data = f.read().split('\r\n')

return data

# --------------爬虫区-----------------

#

from openpyxl.workbook import Workbook

from openpyxl.writer.excel import ExcelWriter

from openpyxl.cell import get_column_letter

wb = Workbook()

ew = ExcelWriter(workbook=wb)

ws = wb.worksheets[0]

ws.title = u'第一个sheet'

# 数据开始写入的行、列、无组数据及文件名

def write_2_excel(r,c,t_data,FileName):

i = r

for record in t_data:

for x in range(c,len(record)+c):

col = get_column_letter(x)

ws.cell('%s%s'%(col,i)).value ='%s'%record[x-c]

i+=1

ew.save(filename=FileName)

#

# ************主函数*****************

if __name__ == '__main__':

def Spider():

#初始化实例

cls = kaoqin_login()

if var.get():

List_username = cls.get_data_file(var.get())

else:

v_lable.set('密码文件对吗？？？')

#出勤状态，如正常、迟到

Real_Data = []

#按用户获取数据

for each_user in List_username:

#标题数据，比如excel的头部，日期，星期、上下午

Title_Data = []

#网站登陆用户信息

Pno,Pname,username,password = each_user.split(',')[0],each_user.split(',')[1],each_user.split(',')[2],each_user.split(',')[3]

LoginUrl = 'http://17.xx.xx.xx/j_acegi_security_check'

LoginPost ="{'j_username':'%s','j_password':'%s'}"%(username,password)

LoginPost = eval(LoginPost)

if cls.login(LoginUrl,LoginPost):

#进入考勤页面

Kq_Url = 'http://17.xx.xx.xx/km/attendance/km_attendance_main/kmAttendanceMain.do'

tmp1=[]

tmp2=[]

tmp3=[]

tmp4=[]

tmp4.append(Pno)

tmp4.append(Pname)

#考勤post列表，第一页到第四页数据

for i in range(1,5):

jsret = cls.get_response(Kq_Url,cls.post_page(i))

if jsret:

pass

else:

T_logi_info.insert(END,Pname+'登陆失败'+ '\n')

T_logi_info.see(END)

break

#对考勤数据处理

for each_day in jsret:

v_date=v_week=v_Bc=v_status=v_name=''

start_date = var_date1.get()

end_date = var_date2.get()

if start_date and end_date:

for item_dic in each_day:

col = item_dic['col']

if col == 'fdAttendanceDate':

v_date = item_dic['value'].strip()

if col == 'fdWeek':

v_week = item_dic['value'].strip()

if col == 'fdBc':

v_Bc = item_dic['value'].strip()

if col == 'fdStatus':

v_status = item_dic['value'].strip()

v_status = re.search('>(.*?)

if col == 'fdPerson.fdName':

v_name = item_dic['value']

if v_date >= start_date and v_date <= end_date:

tmp1.append(v_date)

tmp2.append(v_week)

tmp3.append(v_Bc)

tmp4.append(v_status)

text.insert(END, v_name +',' + v_date+','+v_week+','+v_Bc+','+v_status+'\n')

text.see(END)

text.update()

else:

v_lable.set('时间不对吧...')

pass

Title_Data.append(tmp1)

Title_Data.append(tmp2)

Title_Data.append(tmp3)

Real_Data.append(tmp4)

write_2_excel(1,3,Title_Data,ent_des.get())

write_2_excel(4,1,Real_Data,ent_des.get())

#第三行

Button(root,text='开始爬取',fg='#3CB371',command=Spider).grid(row=3,column=4)

root.mainloop()

好了，看看一下实际效果吧