python 爬虫：爬取91job竞赛题库

#http://ycit.91job.gov.cn/contest/question

#本次爬去的是91job竞赛的题库

#共52题

#爬去题目与正确答案

#保存为doc格式

#由于需要登陆所以我采用的是cookie

#但是可能在你使用这部分代码是cookie已经失效了你可以用自己的账号

#xpath是一款十分好用的提取数据的方法

#由于爬取简单就直接上代码了

import requests
from lxml import etree
import csv
for i in range(1,523):url = 'http://ycit.91job.gov.cn/contest/question?page=%s'% iheader = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko Core/1.70.3676.400 QQBrowser/10.4.3505.400','Cookie':'__51cke__=; PHPSESSID2=o0g27b9lvje92ei8f8jd1muht3; __tins__18735067=%7B%22sid%22%3A%201559039651245%2C%20%22vd%22%3A%205%2C%20%22expires%22%3A%201559041694835%7D; __51laig__=5'}response = requests.get(url = url,headers=header)html = response.textselector = etree.HTML(html)items = selector.xpath('//div[@class="all"]')for item in items:timu = item.xpath('./div[@class="title"]/b/text()')[0]answer = item.xpath('./div[@class="right"]/p/font//text()')[0]timu = timu.replace('\xa0'and'\u2002',' ')info = [timu,answer]with open('a.doc','a+',encoding='utf-8',newline='')as f:f.write('\n'.join(info)+'\n')

爬取结果：：

python 爬虫：爬取91job竞赛题库相关推荐

python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
运用Python爬虫爬取一个美女网址，爬取美女图
运用Python爬虫爬取一个美女网址,爬取美女图要运用到的python技术: 导入库 1.request 发送请求,从服务器获取数据 2.BeautifulSoup 用来解析整个网页的源代码 imp ...
Python爬虫|爬取喜马拉雅音频
"GOOD Python爬虫|爬取喜马拉雅音频喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...
四小时学python爬虫爬取信息系列（第一天）
四小时学python爬虫爬取信息系列(第一天)(全是干货) 1.安装requests库(可以在电脑python,我是进入anaconda我建的虚拟环境) anaconda虚拟环境法流程: conda ...
Python爬虫爬取微信朋友圈的方法，感兴趣的朋友可以了解下
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 小雨 | 作者 python教程 | 来源接下来,我们将实现微信朋友圈的 ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
Python爬虫爬取微信朋友圈
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...

python 爬虫：爬取91job竞赛题库

python 爬虫：爬取91job竞赛题库相关推荐

最新文章

热门文章