上两篇我们爬了一篇智联招聘的数据，主要是北京地区python开发岗位的数据，数据量不是很大，几千条，这一篇文章我们队智联招聘的数据进行数据处理。

一直以来，我以为的数据处理是已经在python爬虫阶段已经做好了，其实并不是，python爬虫并没有把数据处理这一部分的工作完全给做好，数据处理只是数据挖掘的一小部分，接下来，就是在jupyter notebook上进行数据处理，到中途就卡壳掉一部分，不过，等我弄明白会继续补上的，毕竟学无止境。

## 数据处理部分

"""
1、去重工作地址，获取地址坐标（高德）
2、去重公司，获取公司情况
3、工作筛选，由于智联上爬取的工作，好多事工作内容里有python，只用python谢谢脚本啥的，实际标题上找的是java啊，php啊，这样的工作要删掉
4、剔除数据异常值，过大过小，NA值
5、工作根据，工作，公司情况，工作内容，技能要求等进行评分，目的是找到适合我的工作"""# 导入数据
import pandas as pd
import numpy as np
import pymongo
client = pymongo.MongoClient("localhost",connect=False)
db = client["zhilian"]
table=db['python']df = pd.DataFrame(list(table.find()))
# 在df中删除mongo里的_id 字段
del df['_id']
# 查看头信息
df.head()
# 查看全部内容
#df

# 2 根据工作名称剔除掉不合适的工作，如php，java等
name_ban = ['linux','php','Linux','PHP','JAVA','java','Java','DBA','运维','web','WEB','实习生','C','C++','培训','R','Golang']def ban_name(job_name):if any(x in job_name for x in ['python',"Python"]):passelse:if any(x in job_name for x in name_ban):job_name = np.nanreturn job_namedf['job_name'] = df['job_name'].apply(ban_name)
df.dropna(how='any')

# 3 将万转为数字；万x10000  ， 千x1000def get_num_salary(salary):s = 0if "-" in salary:for part in salary.split('-'):if '万' in part:q = float(part[:-1]) * 10000else:q = float(part[:-1]) * 1000s +=qreturn int(s/2.0)else:# 返回nullreturn np.nandf['salary'] = df['salary'].apply(get_num_salary)
df.head()

————————————————————————— TypeError Traceback (most recent call last) in () 15 return np.nan 16 —> 17 df[‘salary’] = df[‘salary’].apply(get_num_salary) 18 df.head() c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages\pandas\core\series.py in apply(self, func, convert_dtype, args, **kwds) 2549 else: 2550 values = self.asobject -> 2551 mapped = lib.map_infer(values, f, convert=convert_dtype) 2552 2553 if len(mapped) and isinstance(mapped[0], Series): pandas/_libs/src\inference.pyx in pandas._libs.lib.map_infer() in get_num_salary(salary) 3 def get_num_salary(salary): 4 s = 0 —-> 5 if “-” in salary: 6 for part in salary.split(‘-‘): 7 if ‘万’ in part: TypeError: argument of type ‘float’ is not iterable

# 面议和一千以下的用中位数来代替
df = df.fillna(df.median())
df

# 公司名带有奇怪的“  /   公司名清理一下
df['company'] = df['company'].apply(lambda x : x.split("/")[0].strip('"'))

这里是数据处理的进阶部分，暂时做个标记：

```python
# 导入两份数据：导一份公司地址出来，获取方位坐标，一份公司名称出来获取公司相关信息#df.loc[:,["address","company"]].drop_duplicates().to_csv("address.csv",encoding="utf-8")#df["company"].drop_duplicates().to_csv("company.csv",encoding="utf-8")

Python数据挖掘 之 数据处理（使用pandas对智联招聘上的北京地区python岗位进行数据清洗）相关推荐

1. Python网络数据爬取及分析-智联招聘

   python网络数据爬取及分析-智联招聘 一. 数据爬取 智联招聘是一家面向大型公司和快速发展的中小企业提供一站式专业人力资源的公司,可在智联招聘网站上根据不同城市.不同职位需求搜索得到相关招聘信息. ...

2. 在智联招聘上用scrapy+selenium 进行简历自动投递

   智联招聘上用Scrapy+selenium进行自动简历投递 所需要的python包 智联网页分析 登陆分析: 各个重要链接的分析 页面处理 scrapy 代码部分讲解 创建scrapy 项目 入口代码 ...

3. scrapy项目2：爬取智联招聘的金融类高端岗位（spider类）

   ---恢复内容开始--- 今天我们来爬取一下智联招聘上金融行业薪酬在50-100万的职位. 第一步:解析解析网页 当我们依次点击下边的索引页面是,发现url的规律如下: 第1页:http://www. ...

4. 爬取智联招聘上的求职信息

   爬虫爬取智联招聘上的求职信息,并将爬取的内容保存到文件中 链接:https://pan.baidu.com/s/1p4gn2enm_WnyqK_3kjnoaQ 提取码:prdb 复制这段内容后打开百度 ...

5. Python用Selenium和Chromedriver爬取智联招聘的职位

   步骤: 1.在智联招聘网站选择好职位关键词和作用地址. 2.运行代码. 其中注意点 1.用driver爬取首页时,会弹出如下图窗口.此时可以在代码中设置睡眠2秒,自己手动取消窗口. 2.在这一次爬取中 ...

6. 爬取智联招聘上24座热门城市中Java招聘信息

   一.确定URL及其传递的参数 获取北京中Java的招聘信息url: 获取上海中Java的招聘信息url: 通过对比得知,url中传递了三个参数,jl代表城市的编号,kw代表职业,p代表当前在招聘页面的 ...

7. 我在智联招聘上的行为测试

   您的行为类型评定为:中间偏B型人格特点 几十年以前,一些内科医生对鉴别他们的病人中哪些人易患心血管疾病感到无能为力.尽管他们指导高血压.吸烟.肥胖和缺少锻炼都会使人易患心脏病,但是只综合考虑这些困难是 ...

8. python编程实践（一）：统计智联招聘数据

   统计智联招聘上,各个编程语言的在招岗位数量. 思路:写爬虫 的第一步永远是先分析网页 1.用谷歌浏览器打开智联招聘官网. 2.右键"检查"->"Network&qu ...

9. Python爬虫爬取智联招聘职位信息

   目的:输入要爬取的职位名称,五个意向城市,爬取智联招聘上的该信息,并打印进表格中 #coding:utf-8 import urllib2 import re import xlwtclass ZLZ ...

10. python爬取智联招聘网

    思路 其实你在做完一些常规的反反爬措施之后基本能爬了,这里我关于IP我讲一下: 我主要是爬完一个职位之后睡眠1-3秒,随机选择 p=random.randint(1,3) time.sleep(p) ...

最新文章

1. 情绪调节的自适应_情绪定律：你的情绪决定你的一切
2. 不同浏览器前端调试查看返回页面的json数据
3. Using Headless Mode in the Java SE Platform--转
4. java commons lang 随机数_Apache Common-lang组件里随机数工具类RandomStringUtils的一个bug...
5. 世界大了，啥子都有，全球最大中文搜＂人＂引擎
6. 图像处理-与，或等运算
7. leetcode笔记--7 Find the Difference
8. Python数据可视化库汇总整理
9. RPG游戏开发基础教程
10. 国内浏览器双核模式 默认切换chrome内核
11. H5表单中时间日期控件
12. 吴伯凡-认知方法论-你心之外无世界
13. Python爬虫学习-简单爬取网页数据
14. 阴历转换阳历c语言csdn,JavaScript实现公历转换农历
15. 罗宾斯管理学13版pdf_罗宾斯管理学13版答案pdf
16. vue通过子组件修改父组件prop的几种实现方式
17. IC卡16个扇区简介
18. 什么叫无差别伤害_无差别伤害背后的差别
19. evo评测VINS-MONO---代码修改、数据格式转换、数据测试
20. Atcoder CADDi 2018 Solution

热门文章

1. 计算机445 135 139端口,Win7如何关闭445 135 138 139端口
2. protel dxp 2004教程：如何自己创建原理图符号与元器件封装
3. APE音乐的处理[shntool]
4. 领导想延长我的试用期，我该怎么办？
5. c#写图像tif gdal_C#使用GDAL将tif图像转换为jpg、bmp、png和gif格式的图像
6. cesium中文教程(cesium中文教程PDF)
7. 微信识图之面向多源异构数据的检测器设计
8. c语言输出菱形for循环_使用c语言输出菱形
9. 收集到特拉斯的《引力的动态理论》之中的几句话
10. json字段名不一致的问题