python爬虫实例--爬取拉勾网

代码实例

# -*-.coding: utf-8 -*-
# __author__ = 'xiaobai'
# Email: 517840374@qq.com
import time
import re
from selenium.webdriver import Chrome # 导入浏览器的包
from selenium.webdriver.common.keys import Keys
n = 1
# 创建浏览器
web = Chrome()
# 打开浏览器，请求到拉钩
web.get("https://www.lagou.com")
web.find_element_by_xpath('//*[@id="cboxClose"]').click()time.sleep(1)
# 找到那个文本框，输入python，然后点查询
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python', Keys.ENTER)alst = web.find_elements_by_class_name("position_link")
for a in alst:# 找到H3并点击a.find_element_by_tag_name("h3").click()web.switch_to.window(web.window_handles[-1])text= web.find_element_by_xpath('//*[@id="job_detail"]/dd[2]').text # 拿文本# 把招聘信息保存到文件中with open(f'需求_{n}.txt', mode = 'w',encoding='utf-8') as f:f.write(text)n += 1# 关闭窗口web.close()# 调整窗口到最开始的那个页面web.switch_to.window(web.window_handles[0])time.sleep(1)

转载于:https://www.cnblogs.com/alex3174/p/11379854.html

python爬虫实例--爬取拉勾网相关推荐

AJAX教程美食滤镜,Python爬虫实例——爬取美团美食数据
1.分析美团美食网页的url参数构成 1)搜索要点美团美食,地址:北京,搜索关键词:火锅 2)爬取的url https://bj.meituan.com/s/%E7%81%AB%E9%94%85/ ...
Python爬虫实例-爬取豆瓣电影Top250
这是本人Python爬虫实例的第二个实例,不过想来好像没有很大的难度所以适合当做新手入门的第一个爬虫.放在这里供大家参考. 本次实例爬取的网站为豆瓣电影Top250,使用到的第三方库有urllib,B ...
Python爬虫：爬取拉勾网职位并分析
大数据杂谈一起行走数据江湖! 作者:闲庭信步原文链接: https://blog.csdn.net/danspace1/article/details/80197106 如需转载,请联系原作者. ...
Python爬虫 senlenium爬取拉勾网招聘数据，你学会了吗
一.基本思路目标url:https://www.lagou.com/ 用selenium爬虫实现,输入任意关键字,比如 python 数据分析 ,点击搜索,得到的有关岗位信息,爬取下来保存到Exce ...
Python 爬虫实例+爬取豆瓣小组 + wordcloud 制作词云图
目标利用PYTHON爬取如下图中所有回答的内容,并且制作词云图. 用到的库 import requests # import jsonfrom PIL import Image from pyque ...
python爬虫实例--爬取电脑壁纸
目录前言一.用到的工具二.爬取步骤与过程 1.用到的库 2.解析代码三.最后上全部的代码啦最后感悟前言听说好的编程习惯是从写文章敲代码开始的,下面给大家介绍一个简单的python爬取图片 ...
python爬虫senlenium爬取拉勾网招聘数据！
一.基本思路目标url:https://www.lagou.com/ 用selenium爬虫实现,输入任意关键字,比如 python 数据分析,点击搜索,得到的有关岗位信息,爬取下来保存到Excel ...
python爬虫 senlenium爬取拉勾网招聘数据
文章目录一.基本思路二.selenium爬虫三.查看数据原文链接:https://yetingyun.blog.csdn.net/article/details/108170411 创作不易, ...
爬虫python 新闻,Python爬虫实例--爬取人民网新闻
其实我只是因为在那边评论区想评论,然后发现位置不够,所以才打算写这个博客的,然后具体的可以看我转载的文章,很详细,我这边只说一下关于txt转换为JSON格式的问题第一次写,格式可能很乱,见谅一下话 ...

python爬虫实例--爬取拉勾网

代码实例

python爬虫实例--爬取拉勾网相关推荐

最新文章

热门文章