python 招聘广州_python爬虫智联招聘工作地点

需求：智联上找工作的时候，工作地点在搜索页面只能看到城市-区。看不到具体的地址。(离家近的工作肯定优先考虑)

思路：爬取搜索页面(页面一)然后进去其中一个内页，再爬工作地点(页面二)，【废话】

利用的库：re，csv，bs4，requests

基本功能已实现。

下一步方向，调取地图api 计算离家距离。

运算速度方面的话，可以考虑多线程处理。

以下代码拿来就用哈！

import requests

from bs4 import BeautifulSoup

import re

import csv

location = "广州"

search = "网络工程师"

fileName = location + "-" + search + ".csv"

with open(fileName, "w", newline="") as datacsv:

csvwriter = csv.writer(datacsv, dialect=("excel"))

# res = requests.get("https://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E4%BD%9B%E5%B1%B1&kw=%E7%BD%91%E7%BB%9C%E5%B7%A5%E7%A8%8B%E5%B8%88&sm=0&p=1")

Url = ("https://sou.zhaopin.com/jobs/searchresult.ashx?jl=%s&kw=%s&sm=0&p=1" % (location, search))

res = requests.get(Url)

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html.parser')

all_work = []

for link in soup.find_all('a'):

if re.search("com/[0-9]*.htm",str(link.get('href'))):

all_work.append(link.get('href'))

for i in all_work:

work = []

res2 = requests.get(i)

res2.encoding = 'utf-8'

soup2 = BeautifulSoup(res2.text,'html.parser')

for z in soup2.find_all("h2"):

work.append((z.get_text()).split()[0])

work_list = str(soup2.get_text()).split()

work_list2 = []

count_y = 0

for y in work_list:

count_y +=1

if "职位月薪" in y:

work_list2 = work_list[count_y-1:count_y+6]

for xx in work_list2:

work.append(xx)

csvwriter.writerow(work)

break

datacsv.close()

python 招聘广州_python爬虫智联招聘工作地点相关推荐

python爬虫——智联招聘（上）
开发环境 win7+,python3.4+ pymysql库,安装:pip3 install pymysql selenium库,火狐浏览器56.0版本,geckodriver.exe,seleniu ...
python 爬虫智联招聘
本方法使用cookie的方法下载智联招聘的职位.主要就是要先登录智联招聘,然后将对应的cookie作为爬虫访问的header.代码如下: import requests import re impor ...
Python利用Scrapy爬取智联招聘和前程无忧的招聘数据
爬虫起因前面两个星期,利用周末的时间尝试和了解了一下Python爬虫,紧接着就开始用Scrapy框架做了一些小的爬虫,不过,由于最近一段时间的迷茫,和处于对职业生涯的规划.以及对市场需求的分析, ...
python爬虫智联招聘工作地点
需求:智联上找工作的时候,工作地点在搜索页面只能看到城市-区.看不到具体的地址.(离家近的工作肯定优先考虑)思路:爬取搜索页面(页面一)然后进去其中一个内页,再爬工作地点(页面二),[废话]利用的库: ...
python工作招聘-python爬虫智联招聘工作地点
需求:智联上找工作的时候,工作地点在搜索页面只能看到城市-区.看不到具体的地址.(离家近的工作肯定优先考虑) 思路:爬取搜索页面(页面一)然后进去其中一个内页,再爬工作地点(页面二),[废话] 利用的 ...
Python爬虫--智联招聘职位和公司信息爬取
用scrapy框架进行爬取目录结构: 1. items.py 文件事先定义好我们要进行爬取的信息 # -*- coding: utf-8 -*-# Define here the models f ...
python爬取智联招聘网_Python-爬取智联招聘
import urllib.request import urllib.parse from bs4 import BeautifulSoup import json import time clas ...
爬虫项目十七：用Python轻松爬下智联招聘七千条招聘信息
文章目录前言一.列表页URL获取二.详情页URL获取三.获取数据总结前言利用Python requets+selenium 爬取智联招聘中全国招聘数据.如果看过我之前的文章那应该知道我们 ...
python爬虫开发之“智联招聘”网页爬取
先贴上需求: 1. 输入起始页和结束页爬取智联招聘上与python相关职业2. 爬取的信息包括就业岗位名称薪资地区公司名称需求{包括学历和经验}3. 爬取的信息以字典形式保存到mong ...

python 招聘广州_python爬虫智联招聘工作地点

python 招聘广州_python爬虫智联招聘工作地点相关推荐

最新文章

热门文章

python 招聘 广州_python爬虫 智联招聘 工作地点

python 招聘 广州_python爬虫 智联招聘 工作地点相关推荐

最新文章

热门文章

python 招聘广州_python爬虫智联招聘工作地点

python 招聘广州_python爬虫智联招聘工作地点相关推荐