Python爬取网站用户手机号_python爬取招聘网站:拉勾网
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者:TM0831
转载:https://www.cnblogs.com/TM0831/p/9959900.html
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
python学习交流群,点击即可加入
思路分析:
在之前写拉勾网的爬虫的时候,总是得到下面这个结果(真是头疼),当你看到下面这个结果的时候,也就意味着被反爬了,因为一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会禁止这个IP的访问:
对于拉勾网,我们要找到职位信息的ajax接口倒是不难(如下图),问题是怎么不得到上面的结果。
要想我们的爬虫不被检测出来,我们可以使用代理IP,而网上有很多提供免费代理的网站,比如西刺代理、快代理、89免费代理等等,我们可以爬取一些免费的代理然后搭建我们的代理池,使用的时候直接从里面进行调用就好了。然后通过观察可以发现,拉勾网最多显示30页职位信息,一页显示15条,也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段,而这个字段表示的就是查询结果的数量,获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果,保存在MongoDB数据库中。
主要代码:
proxies.py
(爬取免费代理并验证其可用性,然后生成代理池)
1
在middlewares.py中添加如下代码:
1 class LaGouProxyMiddleWare(object):2 def process_request(self, request, spider):3 import random4 import requests5 with open("具体路径proxies.txt", 'r', encoding="utf-8") as f:6 txt = f.read()7 proxy = ""8 flag = 09 for i in range(10):
10 proxy = random.choice(txt.split('n'))
11 proxies = {
12 "http": proxy
13 }
14 if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200:
15 flag = 1
16 break
17 if proxy != "" and flag:
18 print("Request proxy is {}".format(proxy))
19 request.meta["proxy"] = "http://" + proxy
20 else:
21 print("没有可用的IP!")
然后还要在settings.py中添加如下代码,这样就能使用代理IP了:
1 SPIDER_MIDDLEWARES = {
2 'LaGou.middlewares.LaGouProxyMiddleWare': 543,
3 }
在item.py中添加如下代码:
1 import scrapy2 3 4 class LaGouItem(scrapy.Item):5 city = scrapy.Field() # 城市6 salary = scrapy.Field() # 薪水7 position = scrapy.Field() # 职位8 education = scrapy.Field() # 学历要求9 company_name = scrapy.Field() # 公司名称
10 company_size = scrapy.Field() # 公司规模
11 finance_stage = scrapy.Field() # 融资阶段
在pipeline.py中添加如下代码:
1 import pymongo2 3 4 class LaGouPipeline(object):5 def __init__(self):6 conn = pymongo.MongoClient(host="127.0.0.1", port=27017)7 self.col = conn['Spider'].LaGou8 9 def process_item(self, item, spider):
10 self.col.insert(dict(item))
11 return item
在spiders文件夹下新建一个spider.py,代码如下:
1 import json2 import scrapy3 import codecs4 import requests5 from time import sleep6 from LaGou.items import LaGouItem7 8 9 class LaGouSpider(scrapy.Spider):
10 name = "LaGouSpider"
11
12 def start_requests(self):
13 # city = input("请输入城市:")
14 # position = input("请输入职位方向:")
15 city = "上海"
16 position = "python"
17 url = "https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}".format(city)
18 headers = {
19 "Referer": "https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=".format(codecs.encode(position, 'utf-8'), codecs.encode(city, 'utf-8')),
20 "Cookie": "_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe",
21 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
22 }
23 data = {
24 "first": "true",
25 "pn": 1,
26 "kd": position
27 }
28 res = requests.post(url, headers=headers, data=data)
29 # 获取相关职位结果数目
30 count = res.json()['content']['positionResult']['totalCount']
31 # 由于最多显示30页,也就是最多显示450条职位信息
32 page_count = count // 15 + 1 if count <= 450 else 30
33 for i in range(page_count):
34 sleep(5)
35 yield scrapy.FormRequest(
36 url=url,
37 formdata={
38 "first": "true",
39 "pn": str(i + 1),
40 "kd": position
41 },
42 callback=self.parse
43 )
44
45 def parse(self, response):
46 try:
47 # 解码并转成json格式
48 js = json.loads(response.body.decode('utf-8'))
49 result = js['content']['positionResult']['result']
50 item = LaGouItem()
51 for i in result:
52 item['city'] = i['city']
53 item['salary'] = i['salary']
54 item['position'] = i['positionName']
55 item['education'] = i['education']
56 item['company_name'] = i['companyFullName']
57 item['company_size'] = i['companySize']
58 item['finance_stage'] = i['financeStage']
59 yield item
60 except:
61 print(response.body)
运行结果:
由于使用的是免费代理,短时间内就失效了,所以会碰上爬取不到数据的情况,所以推荐使用付费代理。
Python爬取网站用户手机号_python爬取招聘网站:拉勾网相关推荐
- python爬取微博用户关注_python爬取微博用户关注和粉丝的公开基本信息
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:TM0831 PS:如有需要Python学习资料的小伙伴可以加点击下 ...
- 写了一个Windows服务,通过C#模拟网站用户登录并爬取BUG列表查询有没有新的BUG,并提醒我...
写了一个Windows服务,通过C#模拟网站用户登录并爬取BUG列表查询有没有新的BUG,并提醒我 1.HttpUtil工具类,用于模拟用户登录以及爬取网页: using System; using ...
- java招聘网站项目_基于jsp的招聘网站-JavaEE实现招聘网站 - java项目源码
基于jsp+servlet+pojo+mysql实现一个javaee/javaweb的招聘网站, 该项目可用各类java课程设计大作业中, 招聘网站的系统架构分为前后台两部分, 最终实现在线上进行招聘 ...
- Python爬取网站用户手机号_主流网站 Python 爬虫模拟登陆方法汇总
欢迎关注我的公众号:高级农民工,博客:高级农民工,阅读体验更好. 摘要:介绍微信.知乎.新浪等一众主流网站的模拟登陆爬取方法. 网络上有形形色色的网站,不同类型的网站爬虫策略不同,难易程度也不一样.从 ...
- python爬携程景区评论_python爬取携程景点评论信息
python爬取携程景点评论信息 今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的 按下F12之后,F5刷新一下 具体需要URL Request的方式为P ...
- python 数据分析 书籍推荐 知乎_Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书!...
原标题:Python 爬取知乎 9674 个问答,揭秘最受欢迎的 98 本书! 作者 | Yura 责编 | 胡巍巍 高尔基这话有没有道理我不知道, 咱也不敢问, 主要是现在也问不了. 那对我来说,读 ...
- 怎么用python做我的世界皮肤_Python爬取mc皮肤【爬虫项目】
首先,找到一个皮肤网站,其中一个著名的皮肤网站就是 A fast, reliable, free Minecraft skin hosting server. .进入网站,我们就会见到一堆皮肤,这就是 ...
- python爬取虎扑评论_Python爬取NBA虎扑球员数据
虎扑是一个认真而有趣的社区,每天有众多JRs在虎扑分享自己对篮球.足球.游戏电竞.运动装备.影视.汽车.数码.情感等一切人和事的见解,热闹.真实.有温度. 受害者地址 https://nba.hupu ...
- python爬取国家男女比例_Python爬取2万条相亲数据!看看中国单身男女都在挑什么...
话不多说,我们今天就以" 世纪佳缘 "这个相亲网站为例子,爬取搜索页面当中所有的用户信息,包括"用户ID"."年龄"."城市&qu ...
最新文章
- QT 烦人的parent该如何理解
- VSCode切换默认终端为cmd
- JMeter入门案例
- SparkSQL之thriftserver/beeline的使用
- java非递归_Java非递归文件系统走路
- SpringCloud工作笔记046---SpringCloud https证书申请_不同证书区别
- cannot open shared object file: No such file or directory
- CSS样式布局入门介绍,非常详尽
- ip地址范围汇总成ip网段
- 【优化覆盖】基于matlab GUI粒子群算法求解传感器覆盖优化问题【含Matlab源码 709期】
- php位置,php – 如何有效地找到一个给定位置附近最近的位置
- iOS程序员自述,从月入10k到年薪百万,移动架构师如何养成的?
- html如何制作斜线表头表格,2种方法教你怎样在WPS excel中绘制表格斜线表头
- 《树莓派项目实战》第五节 使用Nokia 5110液晶屏显示Hello World
- Java 微服务架构
- 滑动时固定在头部的一部分会变色(向下滑会变红)
- python 抓取网页数据
- 鸟与虫(五)豆瓣我想看高分电影
- 薪酬激励的中国困境 穆穆-movno1
- 【淘宝API开发系列】获得商品评论 API 返回值说明