python 爬去拉钩测试招聘信息

代码如下：

 1 #coding:utf-8
 2 import time
 3 import urllib.request
 4 from bs4 import BeautifulSoup
 5 file=open(r'meituancde.txt','w')
 6 def get_url(i):
 7     url='https://www.lagou.com/zhaopin/ceshi/%s/?filterOption=%s'%(i,i)
 8     return url
 9 def get_html(i):
10     headers={
11         'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
12         }
13     response=urllib.request.Request(url=get_url(i),headers=headers)
14     html=urllib.request.urlopen(response).read().decode('utf-8')
15     sopu=BeautifulSoup(html)
16     return sopu
17 def parse(i):
18     soup=get_html(i)
19     me=soup.findAll('',{'class':'money'}) #工资
20     me1=soup.findAll('',{'class':'format-time'})#发布时间
21     me2=soup.findAll('',{'class':'li_b_r'})#福利
22     me3=soup.findAll('',{'data-lg-tj-id':'8F00'})#公司名字
23     meitu={}
24     i=0
25     for title in me:
26         meitu['gongzi'] =me[i].text
27         for jianjie in me1:
28             meitu['发布时间']=me1[i].text
29             for sellum in me2:
30                 meitu['福利']=me2[i].text
31                 for pire in me3:
32                     meitu['公司名称']=me3[i].text
33         i+=1
34         print(meitu)
35         if len(meitu) !=0:
36             file.write(str(meitu))
37             file.write("\n")
38             file.close
39 if __name__ == '__main__':
40     for i in range(1,31):41         parse(i)

结果图：

转载于:https://www.cnblogs.com/leiziv5/p/6533437.html

python 爬去拉钩测试招聘信息相关推荐

python爬取实习僧招聘信息字体反爬
参考博客:http://www.cnblogs.com/eastonliu/p/9925652.html 实习僧招聘的网站采用了字体反爬,在页面上显示正常,查看源码关键信息乱码,如下图所示: 查看网页 ...
python爬取智联招聘信息
import random import re from time import sleep import requests from tqdm import tqdm import user_age ...
python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
python+selenium爬取智联招聘信息
python+selenium爬取智联招聘信息需求准备代码结果需求老板给了我一份公司名单(大概几百家如下图),让我到网上看看这些公司分别在招聘哪些岗位,通过分析他们的招聘需求大致能推断出我 ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
【Python】Scrapy爬虫框架小试牛刀：爬取某论坛招聘信息
Scrapy爬虫框架小试牛刀:爬取某论坛招聘信息背景 Scrapy工作原理创建项目创建爬虫确定数据爬取思路编写对象:item.py 制作爬虫:muchongrecruit.py 存储内容:p ...
Python 爬取拉勾招聘信息
Python 爬取拉勾招聘信息故事背景最近有个好哥们啊浪迫于家里工资太低,准备从北方老家那边来深圳这边找工作,啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平,当时我有点懵逼 ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...

python 爬去拉钩测试招聘信息

python 爬去拉钩测试招聘信息相关推荐

最新文章

热门文章