出一个最新windows下配置selenium全环境的教程~
本文会手把手教你配置环境,并带你写第一个selenium爬虫程序

环境配置

1.安装Selenium库

Python和Anaconda-Python中并不包含Selenium包,这里我们要安装一下Selenium这个包
以下三种方式认选一种即可,推荐第三种

  • pip 安装
    win+r打开cmd窗口,手动输入pip install -U selenium
    注:并不推荐这种方法,速度会很慢,而且当你电脑同时有普通python和anaconda时,pip匹配的是python的哪个版本,初学者可能分不清楚
  • 网上下载+手动安装
    下载地址:https://pypi.org/project/selenium/
    下载红框选中的tar.gz文件,解压,win+r进入cmd,cd + 解压完文件的路径

    之后运行命令 python setup.py install

    安装成功会有版本提示
  • 使用PyCharm直接安装
    推荐这个方法,简单粗暴,直接省事
    直接打开PyCharm,进入到File-Setting-Project Interpreter,
    ps:如果你的环境是Anaconda集成环境,需要点击一下小眼睛标志上面的按键


    之后将这个窗口关掉,等待右下角进度条就行了~
  • 注:如果你是anaconda环境,记得关闭设置窗口前,将anaconda小圆圈点回去
  • 如果这种方法安装失败,请重新安装一下,多试几次就行了
  • 如果搜不到selenium包,请检查你的网络,查看anaconda小圆圈是否处于未点击状态

2.下载浏览器对应驱动

Chrome

  • http://chromedriver.storage.googleapis.com/index.html

Firefox

  • https://github.com/mozilla/geckodriver/releases

Edge

  • https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

Safari

  • https://webkit.org/blog/6900/webdriver-support-in-safari-10/

推荐win10使用chrome,Linux使用Firefox。这里演示Chrome的操作

  • 1.根据你Chrome的版本,到上面的链接下载对应版本的驱动

    下载完文件之后解压,得到chromedriver.exe文件
  • 将chromedriver.exe拷贝到python编译器所在的位置
    细节在图片文字上

运行测试,测试一下安装是否成功

打开PyCharm或其他Python编程软件,输入以下代码

from selenium import webdriver
url='https://www.baidu.com'
brower=webdriver.Chrome()
brower.get(url)
  • 运行程序,如果Chrome自动打开百度,恭喜你环境配置成功

设置无图无头属性

selenium库主要用于自动化和爬虫,爬虫基本可以爬取一切网站,唯一的缺点就是只能等待网站加载完,selenium才能提取代码,对于无关内容很多网站,我们就可以设置无图属性
让浏览器不显示在前台,可以设置无头属性

  • 谷歌浏览器设置
from selenium import webdriver
url='https://www.baidu.com'
option = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}  #设置无图模式
option.add_experimental_option("prefs", prefs)                  #加载无图模式设置
option.add_argument("--headless")                               #设置无头模式
browser=webdriver.Chrome(options=option)                        #调用浏览器时,一定要加上设置
browser.get(url)
source=brower.page_source
print(source)
  • Firefox火狐浏览器设置
from selenium import webdriver
url='https://www.baidu.com'
option=webdriver.FirefoxOptions()
option.set_preference('permissions.default.image',2)    #设置无图模式
option.add_argument('--headless')                       #设置无头模式
browser = webdriver.Firefox(options=option)             #调用浏览器时,一定要加上设置
browser.get(url)
source=browser.page_source
print(source)
  • 如果不想设置无头模式,又想运行完之后自动关闭浏览器,在代码的最后添加一行,就会自动关闭
    browser.quit()

Python爬虫配置Selenium库+设置无图无头属性相关推荐

  1. 树莓派4B配置Selenium库+设置无图无头属性

    写一个树莓派4B配置selenium库,并成功调用浏览器进行自动化爬虫 本文会手把手教你配置环境,并带你写第一个selenium爬虫程序 使用版本说明 系统:官网2020-02-13-raspbian ...

  2. Python爬虫之selenium库使用详解

    Python爬虫之selenium库使用详解 本章内容如下: 什么是Selenium selenium基本使用 声明浏览器对象 访问页面 查找元素 多个元素查找 元素交互操作 交互动作 执行JavaS ...

  3. python爬虫之selenium,谷歌无头浏览器

    python爬虫之selenium和PhantomJS 主要的内容 lenium hantomjs 无头浏览器 的懒加载 一 什么是selenium? 介绍 它是python中的一个第三方库,对外提供 ...

  4. Python爬虫环境常用库安装

    Python爬虫环境常用库安装 1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import ...

  5. python 模拟浏览器selenium_浅谈python爬虫使用Selenium模拟浏览器行为

    前几天有位微信读者问我一个爬虫的问题,就是在爬去百度贴吧首页的热门动态下面的图片的时候,爬取的图片总是爬取不完整,比首页看到的少.原因他也大概分析了下,就是后面的图片是动态加载的.他的问题就是这部分动 ...

  6. python爬虫——使用selenium爬取微博数据(一)

    python爬虫--使用selenium爬取微博数据(二) 写在前面 之前因为在组里做和nlp相关的项目,需要自己构建数据集,采用selenium爬取了几十万条微博数据,学习了很多,想在这里分享一下如 ...

  7. python抓取文献关键信息,python爬虫——使用selenium爬取知网文献相关信息

    python爬虫--使用selenium爬取知网文献相关信息 写在前面: 本文章限于交流讨论,请不要使用文章的代码去攻击别人的服务器 如侵权联系作者删除 文中的错误已经修改过来了,谢谢各位爬友指出错误 ...

  8. python爬虫之urllib库详解

    python爬虫之urllib库详解 前言 一.urllib库是什么? 二.urllib库的使用 urllib.request模块 urllib.parse模块 利用try-except,进行超时处理 ...

  9. 从入门到入土:Python爬虫学习|Selenium自动化模块学习|简单入门|轻松上手|自动操作浏览器进行处理|chrome|PART01

    此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

最新文章

  1. 32岁的老程序员面试没通过,一问原因,挺突然的...
  2. 深度?广度?浅析技术人员的职业发展之路
  3. jQuery 对象及伪数组
  4. PHP代码审计基础手册
  5. Springmvc入门案例(1)
  6. html 登陆sql server,jsp实现注册与登录页面+sqlsever2008
  7. “科班出身”的程序员和“培训出身”的程序员的大型辩论(甩锅)现场
  8. eclipse 安装python开发工具 PyDev
  9. 基于Docker的开发模式驱动持续集成落地实施
  10. android 15.6寸平板,关于HUAWEI 华为M6 10.8英寸平板的槽点,不吐不快
  11. 简述osi参考模型各层主要功能_简述OSI参考模型及各层的功能
  12. IDEA自动生成Mapper和实体文件
  13. STM8S003F3 PWM的使用
  14. Ucos操作系统任务优先级分配原则
  15. AD7705在STM32F103RBT6上的移植[硬件SPI]
  16. 如何检索综述类文献?
  17. Oracle查询表空间
  18. python批量测试网站加载时间_python测试网站访问速度
  19. OpenStack裸金属ironic组件web-console界面定制
  20. 宇视网络视频录像机国标对接配置指导

热门文章

  1. 小米推送 简介 集成
  2. Bitlocker企业安全加密管理系列-1
  3. 求两个List的交集和并集
  4. mysql组添加_一、添加用户和组1.添加mysql用户组# groupadd mysql2.添加mysql用户# useradd -g mysql -s /b...
  5. 虚拟机和物理机使用不同的键盘鼠标
  6. 炉石传说服务器修改密码,炉石 脚本 云服务器
  7. 深度学习系统学习(一)
  8. 《华为机试在线训练》之合唱队
  9. 教你如何在Win7上关闭家庭组【绿色】
  10. 1.利用C++继承实现水陆两用车辆系统