python爬虫 智联招聘 工作地点
需求:智联上找工作的时候,工作地点在搜索页面只能看到城市-区。看不到具体的地址。(离家近的工作肯定优先考虑)思路:爬取搜索页面(页面一)然后进去其中一个内页,再爬工作地点(页面二),【废话】利用的库:re,csv,bs4,requests 基本功能已实现。下一步方向,调取地图api 计算离家距离。运算速度方面的话,可以考虑多线程处理。
以下代码拿来就用哈!
import requestsfrom bs4 import BeautifulSoupimport reimport csv location = "广州"search = "网络工程师"fileName = location + "-" + search + ".csv" with open(fileName, "w", newline="") as datacsv: csvwriter = csv.writer(datacsv, dialect=("excel")) # res = requests.get("https://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E4%BD%9B%E5%B1%B1&kw=%E7%BD%91%E7%BB%9C%E5%B7%A5%E7%A8%8B%E5%B8%88&sm=0&p=1") Url = ("https://sou.zhaopin.com/jobs/searchresult.ashx?jl=%s&kw=%s&sm=0&p=1" % (location, search)) res = requests.get(Url) res.encoding = 'utf-8' soup = BeautifulSoup(res.text,'html.parser') all_work = [] for link in soup.find_all('a'): if re.search("com/[0-9]*.htm",str(link.get('href'))): all_work.append(link.get('href')) for i in all_work: work = [] res2 = requests.get(i) res2.encoding = 'utf-8' soup2 = BeautifulSoup(res2.text,'html.parser') for z in soup2.find_all("h2"): work.append((z.get_text()).split()[0]) work_list = str(soup2.get_text()).split() work_list2 = [] count_y = 0 for y in work_list: count_y +=1 if "职位月薪" in y: work_list2 = work_list[count_y-1:count_y+6] for xx in work_list2: work.append(xx) csvwriter.writerow(work) break datacsv.close()
转载于:https://www.cnblogs.com/dblpl/p/8676141.html
python爬虫 智联招聘 工作地点相关推荐
- python工作招聘-python爬虫 智联招聘 工作地点
需求:智联上找工作的时候,工作地点在搜索页面只能看到城市-区.看不到具体的地址.(离家近的工作肯定优先考虑) 思路:爬取搜索页面(页面一)然后进去其中一个内页,再爬工作地点(页面二),[废话] 利用的 ...
- python 招聘 广州_python爬虫 智联招聘 工作地点
需求:智联上找工作的时候,工作地点在搜索页面只能看到城市-区.看不到具体的地址.(离家近的工作肯定优先考虑) 思路:爬取搜索页面(页面一)然后进去其中一个内页,再爬工作地点(页面二),[废话] 利用的 ...
- python爬虫——智联招聘(上)
开发环境 win7+,python3.4+ pymysql库,安装:pip3 install pymysql selenium库,火狐浏览器56.0版本,geckodriver.exe,seleniu ...
- python 爬虫 智联招聘
本方法使用cookie的方法下载智联招聘的职位.主要就是要先登录智联招聘,然后将对应的cookie作为爬虫访问的header.代码如下: import requests import re impor ...
- Python爬虫--智联招聘职位和公司信息爬取
用scrapy框架进行爬取 目录结构: 1. items.py 文件 事先定义好我们要进行爬取的信息 # -*- coding: utf-8 -*-# Define here the models f ...
- python爬取智联招聘网_python爬取智联招聘工作岗位信息
1 # coding:utf-8 2 # auth:xiaomozi 3 #date:2018.4.19 4 #爬取智联招聘职位信息 5 6 7 import urllib 8 from lxml i ...
- 易语言和python融合_易语言和python融合|智联招聘怎么自动投递简历
两年(280年).1893年\u2026\u2026% 3这里噪声的定义位置,宣传思想工作的基本职责.因为我已经决定注册会计师考试,我学习非常努力,我的态度是非常正确的..不是很活跃,不会自动参与活动 ...
- 手把手带你抓取智联招聘的“数据分析师”岗位!
前言 很多网友在后台跟我留言,是否可以分享一些爬虫相关的文章,我便提供了我以前写过的爬虫文章的链接(如下链接所示),大家如果感兴趣的话也可以去看一看哦.在本文中,我将以智联招聘为例,分享一下如何抓取近 ...
- 智联招聘内讧致员工心理不稳 穆穆-movno1
来源:新浪 北京,闷热,立秋前的桑拿天. 尽管遭遇了令业界哗然的"邮件互开门",但位于复星国际中心的智联招聘有限公司 (以下简称智联招聘)总部没有传说中的不安与惶惑.被智联招聘前C ...
最新文章
- 细胞如何获得秩序?除了形成细胞器,还可以发生相分离
- 近六成员工强烈支持,携程将推出“3+2 ”工作模式,一周三天到岗两天在家办公...
- 强大的vim配置,让编程更随意
- git 修改全局配置
- 已解决:modprobe: FATAL: Module nf_conntrack_ipv4 not found.
- Icon class生成器(Python)
- 对自学还是培训的看法
- maven不配置环境变量可以使用吗_哪些土地可以不缴纳土地使用税?包括农村地吗?...
- Android studio 插件安装
- [webpack-cli] Unable to load ‘@webpack-cli/serve‘ command
- 2018焦作网络赛 - Poor God Water 一道水题的教训
- error: creating array of references( declaration of 'a' as array)
- 渗透测试方法论、流程 及NMAP简介
- grub4dos 加载 MEMTEST+86
- 企业传播需要拥有的5个风险意识
- 机器学习中常用的不等式
- CPU的亲缘性affinity
- Win10离线安装choco方案
- 智慧城市不是建设出来的,而是运营出来的
- unity 之 Particle 二