python爬虫第一课 开发环境配置
一、Python3的安装
二、请求库的安装
1、requests的安装
直接pip安装：pip3 install requests
2、Selenium的安装
selenium是一个自动测试化工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。
直接pip安装：pip install selenium
3、ChromeDriver的安装
首先下载Chrome浏览器，并记住Chrome的版本号。然后下载ChromDriver，下载完成之后需要进行环境变量的配置，直接将chromedriver.exe复制到python的Scripts目录下。
当然，可以在命令行下进行验证：chromedriver。
4、PhantomJS的安装
百度下载安装包之后，将其exte文件放在python3的Scripts目录下，安装之后进行在命令行下进行测试：phantomjs。
5、aiohttp的安装
直接进行 pip3 install aiohttp
此外同时推荐安装两个库，一个是字符编码检测库cchardet，另一个是加速DNS的解析库aiodns。
直接进行 pip3 install cchardet aiodns
三、解析库的安装
1、lxml的安装
直接进行 pip install lxml
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath的解析方式，而且解析效率非常高。
2、Beautiful Soup的安装
Beautiful Soup是python的HTML或XML的解析库，可以用来方便的从网页上提取数据。注意：Beautiful Soup的HTML和XML的解析器是依赖于lxml库的。
3、pyquery的安装
同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。
直接进行 pip3 install pyquery
4、tessserocr的安装
--------------待续。。。
python爬虫第一课 开发环境配置相关推荐
- 前端上班第一天-开发环境配置
环境配置 1.chrome下载 https://www.google.cn/chrome/index.html 下载完后默认是google搜索,会导致不能访问网站,修改为bing搜索 点击 浏览器右上 ...
- Python爬虫APP抓包环境配置
工于利其事,必先利其器,在开始APP数据抓取之前,环境配置必不可少. 一套完美的开发环境,将使你未来的开发工作事半功倍. 一.抓包工具 抓包工具有很多,比较热门的有Wireshark.Fiddler. ...
- 第一部分 开发环境配置
一.Python3的安装 安装包下载及相关文档介绍.相关连接如下. 官方网站:https://www.python.org/ 下载地址:https://www.python.org/downloads ...
- 【Python爬虫】Python3+selenium环境配置
在我们爬虫爬网过程中,我们需要用到Python3+selenium,Selenium是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击.下拉等操作.对于一些JavaScript渲染的 ...
- 真传x深度学习第一课：环境配置搭建
真传x课程的配置笔记,基本参考高老师的01_实验docx, 机器ubuntu16.04, 默认python2.7 之前常用的python版本也是2.7 01 修改默认python为python3 参考 ...
- 一、ts学习第一课：环境配置
一.下载node 官网:Node.jsNode.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.https://n ...
- python学习第一课——环境配置+比着葫芦画个瓢
python学习第一课 1. python概览 2. python的运行 3. python的变量.类型与存储 4. 对*.py文件的运行与存储 5. 终端切换路径及目录显示 6. 踩着巨人的肩膀创新 ...
- 1.2 Python开发环境配置 | Python语言程序设计（嵩天）
文章目录 课程简介 第一章 Python基本语法 1.2 Python开发环境配置 Python语言概述 Python开发环境IDLE python的安装与环境配置 Python基本开发环境 Pyth ...
- python ios开发环境_程序员的macOS系列：Mac开发环境配置
1.前言 最近在写<程序员的macOS系列>文章,之前写的第一篇 程序员的macOS系列:精选Mac App,大家都希望楼主尽快更新,结果拖到了2个月后,所以今天终于更新啦!其实macOS ...
最新文章
- phpstudy多站点配置好后index of/ 列表无法出现的解决
- 分布式存储系统考虑因素-一致性
- Linux Shell中的延时函数
- Nginx--安装和配置
- Python：在列表中查找
- android 开启一个定时线程_Android异步、延迟和定时任务的简易用法
- JAVA WEB知识总结之一--入门
- JavaScript 获取 当前日期和三十天以前日期
- python groupby用法_Python 标准库实践之合并字典组成的列表
- shedlock 重启系统报错问题_闲谈ShedLock解决分布式定时任务重复执行问题
- Notepad++的SQL格式化插件
- ERROR 1356 (HY000): View 'information_schema. SCHEMATA'
- 2016年英语六级翻译
- CPython与Cython
- 程序员必知的8个Java开源IDE工具！你最钟意哪个？
- Pandas操作Excel，统计pass/fail的个数
- 华硕ASUS手机平板官方刷机包raw格式解压修改工具
- 计算机考试打字错位了,win7系统笔记本电脑键盘打字错乱的解决方法
- Android之scheme使用
- Linux学习1—文件和用户的管理