孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1
孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1
(完整学习过程屏幕记录视频地址在文末)
要模拟进行浏览器操作,只用requests是不行的,因此今天了解到有专门的解决方案:selenium模块及与火狐浏览器的配合使用。
一、环境配置
(一)、安装selenium模块
pip install selenium
C:\WINDOWS\system32>pip install selenium
Collecting selenium
Downloading https://files.pythonhosted.org/packages/80/d6/4294f0b4bce4de0abf13e17190289f9d0613b0a44e5dd6a7f5ca98459853/selenium-3.141.0-py2.py3-none-any.whl (904kB)
100% |████████████████████████████████| 911kB 637kB/s
Requirement already satisfied: urllib3 in g:\w10_1\python\python365\lib\site-packages (from selenium) (1.23)
Installing collected packages: selenium
Successfully installed selenium-3.141.0
(二)、安装火狐浏览器
默认安装路径即可。
(三)、配置火狐浏览器中的第三方工具
打开附件组件,选择“获取附件组件”,在搜索框中搜索selenium IDE,并添加到浏览器中。
(四)、下载geckodriver程序
geckodriver的下载链接:https://github.com/mozilla/geckodriver/releases
下载到本地后是一个zip文件,解压后只得到一个文件:
geckodriver.exe
将这个文件复制到火狐浏览器的安装路径中。
(五)、下载另一个解析器html5lib
pip install html5lib
C:\WINDOWS\system32>pip install html5lib
Collecting html5lib
Downloading https://files.pythonhosted.org/packages/a5/62/bbd2be0e7943ec8504b517e62bab011b4946e1258842bc159e5dfde15b96/html5lib-1.0.1-py2.py3-none-any.whl (117kB)
100% |████████████████████████████████| 122kB 261kB/s
Collecting webencodings (from html5lib)
Downloading https://files.pythonhosted.org/packages/f4/24/2a3e3df732393fed8b3ebf2ec078f05546de641fe1b667ee316ec1dcf3b7/webencodings-0.5.1-py2.py3-none-any.whl
Requirement already satisfied: six>=1.9 in g:\w10_1\python\python365\lib\site-packages\six-1.11.0-py3.6.egg (from html5lib) (1.11.0)
Installing collected packages: webencodings, html5lib
Successfully installed html5lib-1.0.1 webencodings-0.5.1
二、然后进行测试,自动操作浏览器进入百度搜索
代码是从网上获取 的,来源已无从考证。
import json
import re
import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary
import _mty
import _mf
brower = webdriver.Firefox(executable_path=r'C:\Program Files\Mozilla Firefox\geckodriver.exe')
#打开百度搜索
brower.get("http://www.baidu.com")
#将查询条件赋值给查询文本框
brower.find_element_by_id('kw').send_keys('selenium')
#点击查询操作
brower.find_element_by_id('su').click()
#等待3秒,页面内容太多,有时加载比较慢
time.sleep(3)
#获取当前查询页面所有数据
html=brower.page_source
content=BeautifulSoup(html,'html5lib')
#row4=content.select("#4")[0] #这儿就报错了,找不到这个css标签
#打印第4条查询结果
#print(row4)
#print(content)
_mf.writeAllTextToTxtFileGhlh('1.txt',str(content))
#pattern = re.compile(" class=\"c-abstract\">(.+?)<em>", re.S)
#ressource = re.findall(pattern, str(row4))[0]
#打印第4条查询结果的内容
#print(ressource)
brower.close()
执行时出现了错误(被我注释掉的那些行代码)
我分析的原因是,页面没有加载出搜索后的内容,然后就开始去select操作寻找指定的标签对象,所以不会有结果,然而这种问题,目前我又没法解决,在此恳请高手指点,万分感激!!
——————————
今天整理的学习笔记完成,最后例行说明下我的自学思路:
根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记 。
通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。
于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。
当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。
于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。
诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。
这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。
非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!
根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。
我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)
链接:https://pan.baidu.com/s/1Bpc13UlP4gysP1x6tzps9g
提取码:7zun
Bilibili:
https://www.bilibili.com/video/av42215230/
喜马拉雅语音笔记:
https://www.ximalaya.com/keji/19103006/157187515
转载于:https://www.cnblogs.com/lhghroom/p/10343941.html
孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1相关推荐
- 孤荷凌寒自学python第四十五天Python初学基础基本结束的下阶段预安装准备
孤荷凌寒自学python第四十五天Python初学基础基本结束的下阶段预安装准备 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天本来应当继续学习Python的数据库操作,但根据过去我自学 ...
- 孤荷凌寒自学python第八十一天学习爬取图片1
孤荷凌寒自学python第八十一天学习爬取图片1 (完整学习过程屏幕记录视频地址在文末) 通过前面十天的学习,我已经基本了解了通过requests模块来与网站服务器进行交互的方法,也知道了Beauti ...
- 孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9并使用pydocx模块将结果写入word文档...
孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天终于完成了对docx模块针对 ...
- 孤荷凌寒自学python第三十九天python 的线程锁Lock
孤荷凌寒自学python第三十九天python的线程锁Lock (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 当多个线程同时操作一个文件等需要同时操作某一对象的情况发生时,很有可能发生冲突, ...
- 孤荷凌寒自学python第三十八天初识python的线程控制
孤荷凌寒自学python第三十八天初识python的线程控制 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.线程 在操作系统中存在着很多的可执行的应用程序,每个应用程序启动后,就可以看着 ...
- 孤荷凌寒自学python第六天 列表的嵌套与列表的主要方法
孤荷凌寒自学python第六天 列表的嵌套与列表的主要方法 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) (同步的语音笔记朗读:https://www.ximalaya.com/keji/1 ...
- 孤荷凌寒自学python第五十四天使用python来删除Firebase数据库中的文档
孤荷凌寒自学python第五十四天使用python来删除Firebase数据库中的文档 (完整学习过程屏幕记录视频地址在文末) 今天继续研究Firebase数据库,利用google免费提供的这个数据库 ...
- python 保存文件 吃内存_孤荷凌寒自学python第三十七天python的文件与内存变量之间的序列化与反序列化...
孤荷凌寒自学python第三十七天python的文件与内存变量之间的序列化与反序列化 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 一.什么是序列化与反序列化 序列化是指将内存中的数据进行指 ...
- 孤荷凌寒自学python第六十三天学习mongoDB的基本操作并进行简单封装2
孤荷凌寒自学python第六十三天学习mongoDB的基本操作并进行简单封装2 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第九天. 今天继续学习mongoDB的简单操作, ...
最新文章
- 优化系统后VS启动不了问题的一种解决方案
- 在局域网访问_管理Windows访问凭证,快速访问局域网上的共享资源
- 基于libzplay 实现window下音乐频谱动态显示
- 流氓软件彻底免疫程序 v2.2 绿色版
- 度量.net framework 迁移到.net core的工作量
- Python标准库03 路径与文件 (os.path包, glob包)
- 运动基元_发现大量Java基元集合处理
- 设计模式总结篇系列:工厂方法模式(Factory Method)
- [Vue.js] 深入 -- 案例 - 购物车
- 【无广告】一位算法工程师从30+场秋招面试中总结出的超强面经——目标检测篇...
- Word2010与MathType6.7兼容性问题解决方案
- 【动画消消乐】HTML+CSS 自定义加载动画:清新折叠方块效果 063(附源码及原理详解)
- WPS简历模板的图标怎么修改_软件测试工程师简历项目经验怎么写?--1000个已成功入职的软件测试工程师简历范文模板(含真实简历)...
- dataframe中object类型转变为int类型
- python文本风格_Python风格规范-FYI
- lzg_ad:XPE常见问题FAQ
- 现金的消亡与货币的未来之战 |链捕手
- STM32模拟I2C程序
- IAR For ARM 历史版本下载链接
- springmvc案例
热门文章
- MySQL 模糊查询和分组查询
- 最强大脑第八季片头集数说明
- 2017福州大学面向对象程序设计课程作业七
- Windows7旗舰版SP1_64位2018.10(办公版)
- 禁止鼠标唤醒睡眠的电脑,无线鼠标、蓝牙鼠标
- 前缀和+差分+ 树状数组
- 书中的阿甘和电影中的阿甘
- android 抄袭 苹果,赤果果的抄袭?苹果iPad Pro 2021新功能抄袭华为荣耀平板?
- Redis泛泛而谈(详细3W字)深入浅出Redis,十年阿里架构师分享:有了它还怕不懂Redis原理?
- Winform从入门到精通(30)——MonthCalendar(史上最全)