抓取腾讯校园招聘的第一页

本人是个学python爬虫不久的小白，爬取腾讯招聘的一页招聘消息，用了两天的时间，可能爬取的消息没有那么全，也没有保存在文件夹里或者数据库，我只是为了增加我的爬取经验，发帖也是为了记录。

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
import time
# 加载插件
options = Options()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option('excludeSwitches', ['enable-automation'])
web = Chrome(options=options)
self = web.get('https://join.qq.com/post.html?pid=1')
time.sleep(1)  # 页面加载
# 腾讯的页面需要向下滚动才能加加载出我们想要的代码
js = "window.scrollTo(0,100)"
web.execute_script(js)
time.sleep(1)
li_list = web.find_elements_by_xpath('//ul[1]/li')
for li in li_list:x = 1item = {}i = li.find_elements_by_xpath('./div[1]')  # 得到的时list类型j = li.find_elements_by_xpath('./div[2]/div[1]')for item['post_title'] in i:print(item['post_title'].text)for item['post__tag'] in j:if len(item['post__tag'].text) > 1:print(item['post__tag'].text)else:continueli = web.find_element_by_xpath(f'//ul[1]/li[{x}]').click()web.switch_to.window(web.window_handles[-1])  # 进入招聘信息的具体一页页time.sleep(0.5)web.execute_script(js)time.sleep(0.5)resp = web.find_elements_by_xpath('//*[@id="app"]/div/div[2]/div/ul/li[2]/div[2]/p')for i in resp:print(i.text)web.close()  # 关闭具体信息的一页web.switch_to.window(web.window_handles[0])  # 回到第一页x += 1

注释的内容不多，可能代码有一些多余的地方，我学爬虫也是在b站学的，可能学的不太基础不好，有些语句写得不好，或者可以怎么修改的地方，可以说出来。

抓取腾讯校园招聘的第一页相关推荐

Scrapy小白爬取智联校园招聘
前言掌握了一部分爬虫基础后开始学习Scrapy分布式爬虫,最初觉得会很难,以为分布式就是像hadoop分布式部署一样去配置很多文件,后来发现Scrapy相比普通python爬虫逻辑更简单,速度更快, ...
python抓取腾讯视频弹幕_Python实战 | 如何抓取腾讯视频弹幕
原标题:Python实战 | 如何抓取腾讯视频弹幕当代年轻人的快乐是网络给的. 如果有人吐槽周末太无聊,他们一定会反驳: 是追剧不香吗? 是吃鸡不好玩吗? 周末辣么短,怎么会无聊呢? 诚然,追剧和游 ...
Python爬虫实战，requests模块，Python实现抓取腾讯视频弹幕评论
前言利用Python实现抓取腾讯视频弹幕,废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本: 3.6.4 相关模块: requests模块: pandas模块以及一些Python自带 ...
android:获取富文本图片和使用Jsoup抓取腾讯新闻网页数据
先看效果: 获取富文本中的图片抓取腾讯新闻中的图片首先引入要使用的jar包 compile 'jp.wasabeef:glide-transformations:2.0.2'compile 'or ...
使用Selenium+PhantomJS抓取腾讯动漫漫画图链接
前言上周一位朋友在进行一些项目开发时,其中需要用到腾讯动漫中动漫的图片,但是自己手动一张一张另存为图片进行保存太浪费时间了,于是就用Python来进行抓取,但是很无奈腾讯动漫的章节动漫DOM元素是异 ...
Python爬虫实现抓取腾讯视频所有电影-源码【实战必学】
用python实现的抓取腾讯视频所有电影的爬虫 1. # -*- coding: utf-8 -*-2. import re3. import urllib24. from bs4 import Be ...
python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
Python Python开发 Python语言 Python爬虫实战-抓取boss直聘招聘信息实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Pyth ...
八爪鱼数据抓取，智联招聘为例
八爪鱼数据抓取,智联招聘为例一．八爪鱼抓取智联招聘信息 1.1 打开八爪鱼采集器==>选择快速开始==>新建任务(高级模式) 1.2点击下一步基本流程如下点击下一步 1.3启动单机采集 ...
python热力图分析_使用Python抓取腾讯宜出行热力图数据实战
1.jpg (42.83 KB, 下载次数: 0) 2018-5-12 19:05 上传 1.具体的抓取程序已经放在后面了,供大家下载安装,下面具体说一下使用方法. 本软件使用了渔网形式来抓取腾讯宜出 ...
火山PC抓取快递物流查询接口教程第一课
本源码转载自利快云https://www.lkuaiy.com/ 火山PC抓取快递物流查询接口教程第一课一.准备工作工具:精易编程助手,易语言绝佳伙伴,同样适用于火山下载地址: http://s ...

抓取腾讯校园招聘的第一页

抓取腾讯校园招聘的第一页相关推荐

最新文章

热门文章