安装selenium

由于我的Windows系统上安装的Anaconda，且包含两个版本python2和python3。因此，首先我使用cmd(命令行)切换到我需要使用的python3。切换的命令如下：

activate py3

接着，使用下面的命令下载selenium：

pip install -U selenium

下载过程即结果如下：

下载响应的driver

根据自己的浏览器进行选择：
Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads
Firefox: https://github.com/mozilla/geckodriver/releases
比如我使用的是火狐浏览器:

构建爬虫工程

需要采集的网页为：

采集的内容为课程的标题，如上图所示。
程序如下，其中解析部分使用的是BeautifulSoup

# -*- coding: utf-8 -*-
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup
driver = webdriver.Firefox(executable_path='F:\program_work\python_work\TaobaoCrawler\driver\geckodriver.exe')
driver.get("http://www.w3school.com.cn/b.asp")
# 全屏幕打开
driver.maximize_window()
# 输出网页内容,这里选择一定的编码
page = driver.page_source.encode('GBK', 'ignore')
soup = BeautifulSoup(driver.page_source, "html.parser")
courses = soup.select('#course > ul > li')
for cour in courses:name = cour.textprint(name)print(page)
# 休息5秒
sleep(5)
driver.quit()

程序的输出结果如下所示：

Windows环境下基于python3 + selenium构建网络爬虫相关推荐

C++：Windows环境下基于Eclipse配置C/C++开发环境
C++:Windows环境下基于Eclipse配置C/C++开发环境目录 Windows下的MinGW下载.安装和配置 1.MinGW下载 2.MinGW安装与配置 3.基于Eclipse配置 Wi ...
硬盘克隆带linux系统,一种Windows环境下基于DiskGenius克隆Linux系统的方法及系统与流程...
本发明涉及服务器操作系统技术领域,特别是一种windows环境下基于diskgenius克隆linux系统的方法及系统. 背景技术: 服务器在测试过程中需要反复安装linux操作系统用于服务器的各种测 ...
在windows环境下基于sublime text3的node.js开发环境搭建
摘自:http://blog.sina.com.cn/s/blog_5a6efa330102vcla.html (略有修改) 首先安装sublime text3,百度一堆,自己找吧.理论上subli ...
kali没有arpspoof命令_windows环境下使用python3命令
最近kali崩溃了,于是就使用了一段时间的win 10,对于一些两种系统之间的差异也是进行了一定的协同修复. 在kali下使用python命令就是调用的python2,使用python3命令就是调用的 ...
可持续5G环境下基于机器学习的网络分片框架
Machine Learning-Based Network Sub-Slicing Framework in a Sustainable 5G Environment 5G环境下的物联网框架 5G切 ...
Freebsd 4.7环境下基于qmail系统的反病毒反垃圾邮件系统构建--fw
Freebsd 4.7环境下基于 qmail系统的反病毒反垃圾邮件系统构建第一部分:前言一．版权信息本文档的版权属于作者姜培军[peijun.jiang]所有.转摘时请附带本信 ...
一、在windows环境下修改pip镜像源的方法(以python3为例)
在windows环境下修改pip镜像源的方法(以python3为例) 1.在windows文件管理器中,输入 %APPDATA% 2.会定位到一个新的目录下,在该目录下新建pip文件夹,然后到pip文 ...
Windows下基于python3使用word2vec训练中文维基百科语料资料汇总
Windows下基于python3使用word2vec训练中文维基百科语料(一):https://www.cnblogs.com/gaofighting/p/9055674.html Windows下 ...
基于Windows环境下cmd/编译器无法输入中文，显示中文乱码解决方案
基于Windows环境下cmd/编译器无法输入中文,显示中文乱码解决方案参考文章: (1)基于Windows环境下cmd/编译器无法输入中文,显示中文乱码解决方案 (2)https://www.cn ...

Windows环境下基于python3 + selenium构建网络爬虫

文章目录

安装selenium

下载响应的driver

构建爬虫工程

Windows环境下基于python3 + selenium构建网络爬虫相关推荐

最新文章

热门文章