python3.5以及scrapy,selenium,等 安装
一、python3.5安装和配置
在安装的时候无意间发现了,python3.6没有给我自定义安装的机会,直接就C盘见;因此我选择了python3.5。<安装部分跳过,至于一条吃过痛苦的建议:不要放C和磁盘一定要标明标注分类有序放置>。
接下来,安装pip,这个东西对日后加载其他库非常方便,因此优先安装。当然python3.5是自带pip的,根本不需要安装;但为了不给日后带来麻烦,我们还是要先看下pip的版本,打开 cmd 输入 pip -V , 额 ,,然后就会报错 ;哈哈哈。python的环境都没有配置,直接在cmd中打开这是不行滴。所以我们先来配置环境,找到系统变量中的path ,
然后点击编辑 ,在其中把python的安装路径和python文件下的scripts路径放到path中,最终就像这样
python的环境配置完了,不过刚才我们不是还要在cmd中运行pip嘛,所以还要去python\scripts中找到这个东西并将其路径也配置到环境变量,这也是为了方便在cmd中直接打开嘛。好咯,现在再回到查pip版本 ,依然输入 pip -V ,蹬一下,cmd提醒你要升级了,所以又输入命令pip install -upgrade pip3 不一会功夫,pip就不是原来的那个pip了,他是pip three;回到...\python\scripts\中看看,发现多了个pip3.exe ,没错,这就是你刚才升级的three,既然我们有了新的pip3,那么就无情地删了原来那个pip.exe吧,让它随风而去。
至此python王朝已经建立完成,并且找到一员猛将(pip:没错,这么帅肯定就是我了。)下面要开始开疆拓(KU)库,扩大我们python。
二、selenium从安装到装B
selenium是一个很神奇的东西,那么他究竟是什么呢?有什么作用呢?哎~ ,以上我们都不讲,这里我们只告诉怎么去完成装B,至于为什么装B和装B有什么用,这些东西,,python长路漫漫,你们将上下求索,每个人的答案都不一样自己去思考吧。
现在我们来安装,其实这个很简单,输入 python -m pip install selenium ,binggo,不一会功夫完成了。
1、下载chrome或者firefox的driver,这是两个地址:chrome >>http://npm.taobao.org/mirrors/chromedriver/ ; firefox >>https://github.com/mozilla/geckodriver/releases 。
2、下载之后,一定要把内容 放到python文件夹根目录 ;
3、将firefox 或者chrome 的 .exe 文件路径添加到环境变量 ; 小三:欸~ 为什么呢? 我:因为添加到环境变量 方便调取啊 小三:额 ~还是不明白它方便在哪儿啊? 我:嗯,想把你说明白看样子要下点血本了,请看这里 ,当当当 !!!
driver = webdriver.Firefox() 这是配置到环境的使用方法 !!!
driver = webdriver.Firefox('这里是firefox.exe的路径') 看,不添加到环境变量,多麻烦啊,每次都要写这这这么多的东西!!!
我: 小三你明白了吗 (得意脸,呵 呵 呵 ~ 哒) 小三满脸拜服。
ok ,言归正传。在下面就是,额~ 在下面好像就 就就没有了。 到这(er),我要轻轻地问一句 :你 ! 做好装BBB准备了嘛 ~·`~``~`·`
三、srapy的安装和配置
可能看到这里,你心里可能有点疑惑:切,说好的装B 呢 ? 就没了吗
嗯 对的,这就没了 ,欸~不要问我为什么(不好意思,你可能觉得没有多少,然而我已经 倾我所有),哈哈哈(请注意停顿)。
咳~咳 ,scrapy的安装说复杂又不复杂,说容易也不容易。然而如果自己贸然相信强大的搜索引擎,你可能会受伤(不似开玩笑的,似真滴哟),不过还好我完美地避开了所有正确答案,所有的坑,我一一踩过。下面我给大家演示如何正确的跳过各各坑:
1、请把下面的东西全部下载,存储在新建文件夹 scrapy中: lxml-4.2.3-cp35-cp35m-win_amd64.whl
Twisted-18.4.0-cp35-cp35m-win_amd64.whl ; Scrapy-1.5.0-py2.py3-none-any.whl
上面的下载地址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml ,进去以后 ctrl +F ,直接搜索你想要的,搞定!
另外你可能认为还要这个东西 pyOpenSSL-18.0.0-py2.py3-none-any.whl ,额 ,这个东西,已经被包含在上面 三个中最后一个里面了 。
可能还要这个东西 pywin32-220.win-amd64-py3.5.exe ,额,这个东西,我们也不用单独下载,直接 python -m pip install xxx xxx 是刚才那个东西。
好了 ,上面讲的全部下载之后,现在开始安装 ; 打开cmd ,切换目录到新建的scrapy文件(这个就是存放刚才下载的几个小东西),然后按这个顺序来 :
1、python -m pip install pywin32-220.win-amd64-py3.5.exe2、python -m pip install lxml-4.2.3-cp35-cp35m-win_amd64.whl 3、python -m pip install Twisted-18.4.0-cp35-cp35m-win_amd64.whl 4 、python -m pip install Scrapy-1.5.0-py2.py3-none-any.whl
大约几百秒后,全部搞定!!!
然后 重新打开 cmd ,输入 scapy 回车:
显示这样,表示你可以开始对scrapy为所欲为了(嘿 嘿 嘿 ), else ,看错误提示,重来!!!
四、sqlite、mongodb的安装
sqlite :
它本身在python3.5中 已经是内置模块了,这里的安装指>>在电脑上<<
下载页面 : https://sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
下载的是压缩包 ,对其解压到指定文件夹 ,然后将其路径配置到环境变量中,? !! 这里,我下载的是sqlite3
所以 在命令中 调用 sqlite3 ,弹到sqlite shell ,然后 为所欲为 (嘿 嘿 嘿)。
mongodb:
分为两部分: 在电脑上安装 和 python上 ,因此要装两次。 首先,我们
在电脑上安装;
下载页面:http://www.mongodb.org/downloads
1、安装最好不要默认路径(保护C盘),假如我安装在:D:\mongodb\ 中 ,在安装完mongodb后,将 mongodb下的 bin 目录添加到环境变量中(这里前面已经使用这么多次,应该搞得定了吧)。
2、配置mongodb的存储路径 ,在D:\mongodb\data\ 中 新建一个db文件夹,形成这样的文件目录结构 D:\mongodb\data\db 。
3、为了能够方便使用(就是指在cmd中 直接输入mongo 就能使用的这种),还需要这一步:首先 将 命令行以管理员权限启动,先将mongo 、data\db 做成一个批处理文件,方便使用,命令如下 mongod --bind_ip yourIpadress --logpath <插入logpath> --logappend --dbpath <dbpath> --port yourPortNumber --serviceName "YourServiceName" --serviceDisplayName "YourServiceName" --install ;接着进行注册,输入命令 mongod --logpath "D:\mongodb\log.txt" --dbpath "D:\mongodb\data\db" --install ;然后启动服务,输入命令 net start mongodb ,这时候就会启动mongodb服务 。于是乎,电脑上安装 结束!! 测试一下 ,直接输入 mongo 有没有反应 :
哟 ,阔以了哦,红箭头所指就是已进入 mongo 的 shell 标志 。
在python上安装;
在cmd中输入: python -m pip install pymongo ,搞定!!!
什么? 这就没有了?!! 是的 ,python就是这么舒服, 啊~ (呻吟) 人生苦短,我用python
总结:
我: ok ,全部到此结束!!!(撒花~~)
小三:从 python安装 >>> selenium + scrapy >>> 数据库 , 这是什么? 天呐 !!! 这不是,不是,不是不可描述的一条龙服务吗? 哇撒 ,真是太贴心了 ,遇见你真是太开心了,我忍不住想多点几个赞,赞,赞,赞,赞,赞,赞.......
欸(ai 第三声)~
但是!!
作为风度翩翩的美男纸,我,不能忍受似同上面这位这样滴饱含泪水,丝毫不拘束、不做作的大实话
因此,特地献上一支王小波先生的名作,洗洗风尘 :我是个俗气至顶的人,见山是山,见海是海,见花便是花,唯独见了你,云海开始翻涌,江潮开始澎湃,昆虫的小触须挠着全世界的痒,你无需开口,我和天地万物便通通奔向你 (温馨提示:请使用刮刮乐方式查看)
转载于:https://www.cnblogs.com/Alexisbusyblog/p/9269950.html
python3.5以及scrapy,selenium,等 安装相关推荐
- python3之Scrapy+Selenium切换iframe抓取网易云音乐排行榜
Scrapy+Selenium切换iframe抓取网易云音乐排行榜 iframe标签 Selenium (WEB自动化工具) Scrapy 框架 iframe标签 了解一下iframe 百度百科介绍的 ...
- Python3.5在Windows7环境下Scrapy库的安装
Python3.5在Windows7环境下Scrapy库的安装 忙活了一下午,总算是把Scrapy库给装完了,记下来给需要帮助的人 首先安装的环境:Windows7 64位 Python的版本是:3. ...
- entOS 7 安装 python3+pip3+chrome+chromedriver+selenium+requests 无GUI运行脚本
一.安装 python3 安装依赖文件 yum -y groupinstall "Development tools" yum -y install zlib-devel bzip ...
- python3 selenium安装教程_Python3爬虫利器之Selenium的安装
Selenium是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击.下拉等操作.对于一些JavaScript渲染的页面来说,这种抓取方式非常有效.下面我们来看看Selenium的安装 ...
- Python3.6+Twisted+Scrapy安装
一.首先检查是否有openssl-devel 这一步是必要的,可能会导致PIP命令报错,安装后需重新编译Python 检查命令:# rpm -aq|grep openssl 安装命令:# yum in ...
- 在智联招聘上用scrapy+selenium 进行简历自动投递
智联招聘上用Scrapy+selenium进行自动简历投递 所需要的python包 智联网页分析 登陆分析: 各个重要链接的分析 页面处理 scrapy 代码部分讲解 创建scrapy 项目 入口代码 ...
- scrapy + selenium + chromedriver爬取动态数据
scrapy是一个网页爬虫框架 安装scrapy 推荐使用Anaconda 安装 Anaconda 安装介绍 http://www.scrapyd.cn/doc/124.html 安装后需要配置 清华 ...
- python spider 安装_Python爬虫(11):Scrapy框架的安装和基本使用
大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy.Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装. Scrapy的安装 Scrapy的安装是很麻烦的,对于一 ...
- Crawler之Scrapy:Scrapy简介、安装、使用方法之详细攻略
Crawler之Scrapy:Scrapy简介.安装.使用方法之详细攻略 目录 scrapy简介 Scrapy进行安装 Scrapy使用方法 scrapy简介 Scrapy是Python开发的一个快速 ...
最新文章
- 初创公司为什么要我_在一家大型初创公司担任副总裁之前,我希望知道什么
- 算法设计与分析课程的时间空间复杂度
- Java:Random.nextInt()
- java返回类型自动_java-Apache Flink:由于类型擦除,无法自动确定函数的返回类型...
- [转]详细易懂的Linux makefile教程(7)
- Python稳基修炼的经典案例7(计算机二级、初学者必须掌握的例题)
- ansible不配置ssh免密钥,使用密码登录
- NLP中文常用停用词表
- vb学生管理系统服务器编程,利用VB进行服务器编程实例汇总.doc
- logistic人口模型python代码_用Matlab程序对logistic人口模型进行拟合?
- 腾讯语音合成V3鉴权失败
- 微信支付接口调用之统一下单(一)
- DRAM存储系统结构
- MSDC 4.3 接口规范(27)
- Python新手的数据批量处理教程(TXT文件)
- 基于以太坊开发的类似58同城的DApp开发与应用案例
- python黑魔法指南_Python黑魔法大全
- Re:从零开始的Spring Security Oauth2(二)
- 后端---最全最简单细致的Java接入微信支付接口(Native接入)
- 如何在linux上下载github项目,在linux上使用github
热门文章
- 选择所有选项的多选复选框列表或复选框下拉列表
- scss 变量_SCSS和Sass使用这种样式语言所需的所有CSS和SCSS代码
- 生日在java中怎么写_如何用java写代码:输入自己的生日,距离今天已过多少天,或者还有...
- java 多线程数据分发_使用Java多线程实现任务分发
- java删除mysql 数据库语句怎么写_怎么用JAVA语句在Mysql中查询,添加,删除语句,说的详细点,谢谢!...
- linux进程被杀掉日志,Linux进程突然被杀掉(OOM killer),查看系统日志
- ajax中的简单get请求,jquery 之ajax,get,post异步请求简单代码模版(示例代码)
- eclipse插件开发(四) 流程图绘制插件(雏形)
- linux找回删除的文件6,在Centos6/RHEL6上恢复ext4文件系统下误删除的文件
- spring框架实现实例化和依赖注入的方式分别是什么_助力金三银四—— spring相关基础及面试题(附spring100问)...