import urllib2

import re

import xlwt

'''遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！'''

class ZLZP(object):

def __init__(self,workname,citys):

# 记录查找工作名称

self.workname = workname

# 基础URL地址

self.url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?'

# 工作名称

args = 'kw=%s&jl='%workname

# 工作地点

for city in citys:

# 判断城市是否为最后一个

if city == citys[-1]:

args += city

else:

args += city

args += '%2B'

# kw=python&jl=北京%2B上海%2B南京%2B广州%2B深圳

# 拼接完整的url地址

self.url += args

self.headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'

}

# 根据页码获取某一页HTML源代码

def get_page(self,pageNum):

# 1.根据页码拼接完整的url地址

getUrl = self.url + '&p=%s'%pageNum

# 2.创建request对象

request = urllib2.Request(getUrl,headers=self.headers)

try:

response = urllib2.urlopen(request)

except Exception ,e:

print '获取第%s页数据失败，原因%s'%(pageNum,e)

return None

else:

return response.read()

# 从html代码中提取总职位数

def get_total(self,html):

# 1.准备正则表达式

pattern = re.compile(r'(.*?).*?

(.*?)(.*?)',re.S)

# 2.从html源代码中搜索

results = re.findall(pattern,html)

# 3.去除数据中标签

rs_data = []

for rs in results:

remove_b = re.compile(r'<.>',re.S)

name = re.sub(remove_b,'',rs[0])

rs_tp = (name,rs[1],rs[2],rs[3])

rs_data.append(rs_tp)

return rs_data

# 开始爬虫函数

def start(self):

# 1.获取第一页查询职位的HTML源代码

html = self.get_page(1)

if html == None:

return

# 2.从html源代码中提取总职位数

self.get_total(html)

# 3.for循环循环总页数次(循环10次)

# 创建workbook对象

workbook = xlwt.Workbook(encoding='utf-8')

print type(self.workname)

# unicode 将一个str类型的字符串转换为unicode字符

# 中文编码格式GBK，

print type(unicode(self.workname,encoding='utf-8'))

name = u'智联表'+unicode(self.workname,encoding='utf-8')

print type(name)

sheet = workbook.add_sheet(name)

sheet.write(0,0,'职位名称')

sheet.write(0,1,'公司名称')

sheet.write(0,2,'职位月薪')

sheet.write(0,3,'工作地点')

# count 记录当前的行号

count = 1

for x in range(1,11):

# 1.根据页码获取该页的HTML源代码

print '正在写入第%s页数据....'%x

html = self.get_page(x)

if html == None:

continue

# 2.从html源代码中提取数据

rs_data = self.get_data(html)

# 3.写入本地文件

for rs in rs_data:

sheet.write(count,0,rs[0])

sheet.write(count,1,rs[1])

sheet.write(count,2,rs[2])

sheet.write(count,3,rs[3])

count+=1

# 保存文件

print type(self.workname)

filename = u'智联%s职位信息.xls'%unicode(self.workname,encoding='utf-8')

workbook.save(filename)

'''Python3之前：要存储到本地的数据，保证是UTF-8编码要在Python中使用的字符，保证是Unicode类型的字符unicode(self.workname,encoding='utf-8')字符串类型 str 输入的文本内容、''或""包裹的文本'''

if __name__ == '__main__':

workname = raw_input('请输入要查询的工作名称：')

# 存放工作城市

citys = []

# 只要城市小于5个，继续输入城市

while len(citys) < 5:

city = raw_input('请输入意向城市,最多输入5个,输入0结束：')

if city == '0':

break

citys.append(city)

zlzp = ZLZP(workname,citys)

zlzp.start()