利用python爬取实习僧网站上的数据

最近在找实习，就顺便想到用python爬取一些职位信息看看，有哪些岗位比较缺人。

#_*_coding:utf-8_*_import requests
from bs4 import BeautifulSoup
import xlwt
import rebook = xlwt.Workbook()
#创建表格
sheet = book.add_sheet('sheet1', cell_overwrite_ok=True)def getHtml():url ='http://www.shixiseng.com/interns?p='request = requests.get(url=url)respons = request.content      #得到页面源代码soup = BeautifulSoup(respons,'html.parser')   #解析源代码#下面是计算岗位列表的页数page=soup.select('div#pagebar')[0]   l=str(page.select('li')[-1].a.attrs['href'])x=re.compile(r'\d{3}')y=x.search(l)lastpage=int(y.group())print lastpage#调用函数saveData(url,lastpage + 1)def saveData(url,lastpage):row=0  #必须定义为全局变量for i in range(1,lastpage):html = requests.get(url='%s%d' % (url,i)).contentsoup = BeautifulSoup(html,'html.parser')infos = soup.select('div.posi-list')[0].select('div.list')#相关的数据信息for info in infos:po_name = info.select('div.names.cutom_font')[0].a.textpart = info.find('a', class_='cutom_font').textaddr = info.find('div', class_='addr').span.textxz = info.find('div', class_='xz').span.text#写入excelsheet.write(row, 0, po_name)sheet.write(row, 1, part)sheet.write(row, 2, addr)sheet.write(row, 3, xz)row+=1if __name__ == '__main__':getHtml()book.save('shixiseng.xls')

利用python爬取实习僧网站上的数据相关推荐

使用requests爬取实习僧网站数据
任务要求: 爬取实习僧网站的招聘公司信息和职位信息,并存储到数据库中,对应的数据库表和需要爬取的字段见下面表一和表二(注意:爬取存在的字段) 代码以上传带github上:使用requests爬取实习僧 ...
利用Python爬取全国250m精度的人口数据
此次以GeoQ(智图)为基础,利用Python爬取全国250m精度的人口数据(GeoQ)这个网站开放过250m精度的人口分布数据,而且人口分布有年龄分段等属性.先得注册登录到达创建地图的界面. 看人口 ...
利用Python爬取全国250m精度的人口数据（GeoQ）、房价数据和公交站（线路）等数据
前言文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 中原百科 GIS大师兄 PS:如有需要Python学习资料的小伙伴可 ...
python爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...
利用Python爬取全国250m精度的人口数据、房价数据等数据 | CSDN博文精选
作者 | 中原百科来源 | CSDN博客 (一) 我的第一篇博客写的就是爬取人口数据基于腾讯位置大数据平台的全球移动定位数据获取(Python爬取),精度是1000m,后来有朋友和我说有个网站开放过2 ...
利用爬虫爬取看看豆网站站的数据信息
其实很早我就开始关注爬虫技术,这两天特别学习了一下,并且做了一个简单的demo.爬取了看看豆网站的数据信息.总共11751本书,爬取了不到3个小时,基本每秒爬取1条.速度慢的原因主要是单线程,使用my ...
python爬取实习僧招聘信息字体反爬
参考博客:http://www.cnblogs.com/eastonliu/p/9925652.html 实习僧招聘的网站采用了字体反爬,在页面上显示正常,查看源码关键信息乱码,如下图所示: 查看网页 ...
利用python爬取某直播网站实时弹幕并分析
这里写自定义目录标题技术选择以及思路分析好久没来这个破站更新了,看着充斥着各种CV操作的csdn,质量已经越来越差,但作为在这获得过帮助的人,理应也做几个原创帮点小忙.之前刚好有说要一个弹幕机器 ...
python 取json下某一key_利用Python爬取全国250m精度的人口数据、房价数据和公交站（线路）等数据(一)...
我的第一篇博客写的就是爬取人口数据,精度是1000m,后来有朋友和我说有个网站开放过250m精度的人口分布数据,而且人口分布有年龄分段等属性. 所以我决定试一下能不能爬到这个网站的人口信息,首先得注册 ...

利用python爬取实习僧网站上的数据

利用python爬取实习僧网站上的数据相关推荐

最新文章

热门文章