爬取智联招聘(面向对象)

有待完善

import re
import requests
import os
import xlwt
import codecsclass Item(object):zhiwei = Nonegongzi = Nonegongzuodidian = Nonegongsimingcheng = Noneclass getPosition(object):def __init__(self):self.urlBase = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%85%A8%E5%9B%BD&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&sm=0&isfilter=0&fl=489&isadv=0&sg=aae5284f62664af8b14611bda6d68315&p=1'self.urls = []self.items = []self.getUrls(2)# self.getHTML(self.urls)self.spider(self.urls)self.save(self.items)def getHTML(self,url):kv = {'user-agent':'Mozilla/5.0'}r = requests.get(url,headers = kv)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textdef getUrls(self,pages):urlHead = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%85%A8%E5%9B%BD&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88&sm=0&isfilter=0&fl=489&isadv=0&sg=aae5284f62664af8b14611bda6d68315&p='for i in range(1,pages+1):url = urlHead + str(i)self.urls.append(url)def spider(self,urls):pat1 = '<b>(.*?)</b>'pat3 = '<td class="zwyx">(.*?)</td>'pat4 = '<td class="gzdd">(.*?)</td>'pat5 = 'target="_blank">(.*?)<'item = Item()for url in urls:html = self.getHTML(url)item.zhiwei = re.compile(pat1).findall(html)item.gongzi = re.compile(pat3).findall(html)item.gongzuodidian = re.compile(pat4).findall(html)item.gongsimingcheng = re.compile(pat5).findall(html)self.items.append(item)print(len(item.zhiwei))print(len(item.gongzi))def save(self,items):fileName = '1a.txt'.encode('GBK')tplt = "{0:^10}\t{1:<10}\t{2:^10}\t{3:^10}"with codecs.open(fileName,'w','utf-8') as f:for item in items:# f.write(tplt.format(item.zhiwei,item.gongzi,item.gongzuodidian,item.gongsimingcheng))# f.write("%s \t %s \t %s \t %s \r\n" % (' '.join(item.zhiwei),item.gongzi,item.gongzuodidian,item.gongsimingcheng))for i in range(59):print(tplt.format(item.zhiwei[i],item.gongzi[i],item.gongzuodidian[i],item.gongsimingcheng[i]))# print(item.zhiwei[i])# print(item.gongzi[i])if __name__ == '__main__':p = getPosition()

爬取智联招聘(面向对象)相关推荐

python爬虫多url_Python爬虫实战入门六：提高爬虫效率—并发爬取智联招聘
之前文章中所介绍的爬虫都是对单个URL进行解析和爬取,url数量少不费时,但是如果我们需要爬取的网页url有成千上万或者更多,那怎么办? 使用for循环对所有的url进行遍历访问? 嗯,想法很好,但是 ...
python爬取智联招聘网_python爬取智联招聘工作岗位信息
1 # coding:utf-8 2 # auth:xiaomozi 3 #date:2018.4.19 4 #爬取智联招聘职位信息 5 6 7 import urllib 8 from lxml i ...
Scrapy学习——爬取智联招聘网站案例
Scrapy学习--爬取智联招聘网站案例安装scrapy 下载安装准备分析代码结果安装scrapy 如果直接使用pip安装会在安装Twisted报错,所以我们需要手动安装. 下载安装s ...
Python爬虫爬取智联招聘职位信息
目的:输入要爬取的职位名称,五个意向城市,爬取智联招聘上的该信息,并打印进表格中 #coding:utf-8 import urllib2 import re import xlwtclass ZLZ ...
scrapy爬取智联招聘
我想分析下互联网行业全国招聘实习生的情况,通过爬取智联招聘,得到15467条数据,并导入Mysql 在items.py里: import scrapy from scrapy.http import ...
xpath爬取智联招聘--大数据开发职位并保存为csv
先上项目效果图: 本次爬取的URL为智联招聘的网址:https://www.zhaopin.com/ 首先先登录上去,为了保持我们代码的时效性,让每个人都能直接运行代码出结果,我们要获取到我们登录上去 ...
克服反爬虫机制爬取智联招聘网站
一.实验内容 1.爬取网站: 智联招聘网站(https://www.zhaopin.com/) 2.网站的反爬虫机制: 在我频繁爬取智联招聘网站之后,它会出现以下文字(尽管我已经控制了爬虫的爬 ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
【Python爬虫案例学习20】Python爬虫爬取智联招聘职位信息
目的:输入要爬取的职位名称,五个意向城市,爬取智联招聘上的该信息,并打印进表格中 ####基本环境配置: Python版本:2.7 开发工具:pycharm 系统:win10 ####相关模块: im ...

爬取智联招聘(面向对象)

爬取智联招聘(面向对象)相关推荐

最新文章

热门文章