python爬取url_python爬虫之爬取谷歌url
前言:python使用selenium库时需要安装chromedriver以及对应的chrome版本
代码块
from selenium import webdriver
from selenium.webdriver.common.by import By #获取元素
from selenium.webdriver.support.ui import WebDriverWait #设置获取元素超时时间,如果获取失败则抛出异常
from selenium.webdriver.support import expected_conditions as EC #获取元素
from selenium.webdriver.common.keys import Keys #输入键盘值
from selenium.common.exceptions import TimeoutException # 超时获取元素报错原因
import time #设置延迟
import re #正则表达式模块
from pyquery import PyQuery as pq
browser = webdriver.Chrome()#打开google浏览器
urls = []
def chushi(keyword): #初始化
keyword = str(keyword)
browser.get("https://www.google.com")
wait = WebDriverWait(browser, 10) #设置获取元素的超时时间为10s
input = wait.until(EC.presence_of_element_located((By.NAME,"q"))) #获取属性name为q的元素
input.send_keys(keyword) #输出键盘值
input.send_keys(Keys.ENTER) #输出回车键
time.sleep(3) #等待3s
geturl()
def geturl():
html = browser.page_source
list1 = re.findall('(.*?)
urls.extend(set(list1)) #set:删除列表里的重复值 extend:在列表末尾添加内容
def next_page():
try:
time.sleep(3)
wait = WebDriverWait(browser, 10)
button = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,"#pnnext > span:nth-child(2)")))
button.click() #模拟鼠标右键点击
time.sleep(1)
geturl()
except TimeoutError:
print("请求失败,正在重新请求")
next_page()
def save_url():
with open("url.txt",'w+') as f:
url = "\n".join(urls) #str.join:给列表里的内容之间加个换行符输出成字符串
f.write(url)
if __name__ == '__main__':
page = int(input("请输入页数"))
keyword = input('请输入关键字')
if page == 1:
chushi(keyword)
next_page()
else:
chushi(keyword)
for i in range(0, page - 1):
next_page()
save_url()
python爬取url_python爬虫之爬取谷歌url相关推荐
- python接收弹幕_Python爬虫自动化爬取b站实时弹幕实例方法
最近央视新闻记者王冰冰以清除可爱和专业的新闻业务水平深受众多网友喜爱,b站也有很多up主剪辑了关于王冰冰的视频.我们都是知道b站是一个弹幕网站,那你知道如何爬取b站实时弹幕吗?本文以王冰冰视频弹幕为例 ...
- 爬虫python下载电影_python爬虫:抓取下载电影文件,合并ts文件为完整视频
目标网站:https://www.88ys.cc/vod-play-id-58547-src-1-num-1.html 反贪风暴4 对电影进行分析 我们发现,电影是按片段一点点加载出来的,我们分别抓取 ...
- python怎么爬虎牙_Python爬虫:爬取虎牙星秀主播图片
动态爬取思路讲解 1.简单的爬虫只需要访问网站搜索栏处的url,就可以在开发者工具(F12)处,利用正则表达式.Xpath.css等进行定位并抓取数据: 2.虎牙星秀页面不同于简单的网页,随时都在更新 ...
- 金融爬虫python网贷_爬虫之爬取网贷之家在档P2P平台基本数据并存入数据库
python 版本 :3.5.2 Jupyter Notebook 使用库: reuqests (For human) json (用来加载JSON数据) datetime (用来记录抓取所花时间,也 ...
- python实战-HTML形式爬虫-批量爬取电影下载链接
文章目录 一.前言 二.思路 1.网站返回内容 2.url分页结构 3.子页面访问形式 4.多种下载链接判断 三.具体代码的实现 四.总结 一.前言 喜欢看片的小伙伴,肯定想打造属于自己的私人影院 ...
- Python 小项目 01 爬虫项目 爬取链家网南京地区二手房信息
SpiderLianjia 介绍 python爬虫小程序,爬取链家网南京地区普通住宅二手房数据. 代码下载: https://gitee.com/lihaogn/SpiderLianjia 1 程序设 ...
- python爬虫爬取pdf_Python 爬虫:爬取教程生成 PDF
作为一名程序员,经常要搜一些教程,有的教程是在线的,不提供离线版本,这就有些局限了.那么同样作为一名程序员,遇到问题就应该解决它,今天就来将在线教程保存为PDF以供查阅. 1.网站介绍 之前再搜资料的 ...
- python微信公众号爬虫_Python爬取指定微信公众号所有文章!
篇文章使用到的技术: mitmdump + 电脑版微信 先分析打开可视化抓包工具, 勾选https代理.然后打开电脑版微信 任意点击一个公众号,再点击查看历史消息 注:想学习Python的小伙伴们 可 ...
- python音乐相册_python爬虫之爬取网易云音乐的歌曲图片和歌词
0.目录 1.分析页面 2.获取歌曲的id 3.获取歌曲信息 4.获取歌曲图片url 5.获取歌词 6.总结 7.完整代码 1.分析页面 这一次我们来爬取网易云音乐,爬取歌单内的所有歌曲的图片和歌词, ...
最新文章
- 【牛客挑战赛】我是 A 题
- 安装linux系统结果,Linux 系统安装[Redhat]
- 51 时间片系统 纯c语言,51单片C语言学习.doc
- 北京五环以内将全面禁止新建和扩建数据中心
- 关于团队发展的若干想法(欢迎讨论)
- 预训练生成模型:结合VAE与BERT/GPT-2提高文本生成效果
- c语言从入门到精通第四版电子书_C语言从入门到精通(吐血分享)4.pdf
- 从堆里找回“丢失”的代码
- 推荐两本移动开发挺火的书
- oracle ora31633,ORA-31633: unable to create master table
- 简单servlet和jdbc回顾
- JavaScript内建对象
- html a 的写法,HTML超链接a标记CSS样式写法示例
- win10安装配置nginx
- ideaIU--2018.2.2安装教程
- win10初始化这台电脑——找不到恢复环境
- 16S 扩增子分析工具:Swarm 聚类OTU流程介绍
- 总价合同、成本补偿合同、工料合同
- Android开发过程中遇到的异常
- Joshua Loth Liebman
热门文章
- zxr10交换机配置手册vlan_中兴ZXR10配置说明
- Maven慕课网学习笔记
- Chapter 3 (Determinants): Cramer‘s rule, volume, and linear transformations (克拉默法则、体积和线性变换)
- 有创意的LED电子骰子
- python手机摄像头投测距_python opencv单目测距 小孔成像原理
- 【MySQL】Mysql范式及外键作用
- 【转】人生如梦游戏间,RPG游戏开源开发讲座(JAVA篇)[4]——一步莲华
- cdma特有效应_CDMA复习考试题答案
- 关于个人电脑C盘清理的一些小整合
- 计算机水冷散热器上市公司,十大计算机散热器品牌,水冷散热器-CPU散热器-笔记本散热器品牌,更适合计算机散热器...