centos7 python3 爬虫登陆邮箱_Centos7搭建Scrapy爬虫环境
写在前面
因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习...
一.替换pyhton2版本为python3
1.我这里的云服务器是Centos7系统,默认安装的是python2.7的版本,但是,我个人也是不喜欢老的东西,而且好像python2的版本到2020年就不再维护了,所以,我这里也推荐大家使用python3的版本
2.下载安装
wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz
我下载的是python3.5的
接下来,就是编译安装,在编译安装前需要构建编译环境,安装gcc
yum -y install gcc
gcc安装的东西有点多,稍微等一下
然后,默认编译就好
接着,使用make & make install 安装,
这里的话 ,会多等一会儿 ,去喝杯茶先把,,哈哈 开玩笑的啦
3.安装完成之后,我们输入python,这个时候任然是python2版本,需要重新定义软连接,重新建立指向
mv /usr/bin/python /usr/bin/python27
ln -s /usr/local/bin/python3 /usr/bin/python
结果,发现python命令无效
如果还是不行的话,可以重新编译一下:
这个时候,我们的yum命令就是无法使用了,因为默认的yum是只支持python2版本,我们可以简单设置一下就可以啦,如下:
修改yum配置文件(vi /usr/bin/yum)。
把文件头部的#!/usr/bin/python改成#!/usr/bin/python27保存退出即可
这样就可以再次使用yum命令了
二.安装python包管理工具pip
在第一步,我们安装好了pyhton3的环境,接下来,我们就基于python3版本来安装相应的pip工具
1.pip默认是依赖于setuptools的
下载安装setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
解压,安装,
python setup.py install
发现缺少模块
安装zlib模块
yum install zlib-devel -y
打开报错文件,
再次运行yum install zlib-devel -y
继续安装setuptools,这个时候我们需要python3对zlib模块的支持,所以,需要重新编译安装
1. 进入pyhton3文件目录
2. make & make install #编译安装
这样,就可以回到setuptools目录,进行安装
python setup.py install
安装成功
终于可以安装pip了
1.下载啊
[root@liuge ~]# wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz
2、解压pip安装包
tar -zxf pip-9.0.1.tar.gz
3、安装pip
cd pip-9.0.1
python setup.py install
三.安装Scrapy爬虫环境
这里我们就可以直接使用pip工具来进行包的安装了
1.测试一:安装requests
这里我使用豆瓣源
[root@liuge ~]# pip install -i https://pypi.douban.com/simple/ requests
百度搜索了一下错误,说是openssl相关软件没有安装,
openssl
openssl-devel
yum -y install openssl openssl-devel
接着重新编译安装:
[root@liuge python35]# make & make install
这样,再次刷一遍安装命令:
[root@liuge python35]# pip install -i https://pypi.douban.com/simple/ requests
2.测试二:安装scrapy环境
先上命令:
[root@liuge python35]# pip install -i https://pypi.douban.com/simple/ scrapy
发现,找不到Twisted
我们需要手动安装Twisted
1.下载啊
[root@liuge ~]# wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2
2.解压,安装
[root@liuge ~]# bzip2 -d Twisted-15.2.1.tar.bz2
[root@liuge ~]# tar xf Twisted-15.2.1.tar
[root@liuge ~]# cd Twisted-15.2.1/
[root@liuge Twisted-15.2.1]# python setup.py install
继续安装scrapy
pip install -i https://pypi.douban.com/simple/ scrapy
到这里,我们的环境就安装完成了,简单总结下:
找扩展依赖包地址:
www.lfd.uci.edu/~gohlke/pythonlibs/
有时候,需要这样替换
pip install requests -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
谢谢======
centos7 python3 爬虫登陆邮箱_Centos7搭建Scrapy爬虫环境相关推荐
- 爬虫取中间文本_Python Scrapy爬虫框架学习!半小时掌握它!
Scrapy 是用Python实现一个为爬取网站数据.提取结构性数据而编写的应用框架. 一.Scrapy框架简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数 ...
- CentOS7安装wdCP面板,快速搭建web运行环境(图文详解)
文章目录 1. wdCP简介 2. 安装过程 2.1 源码安装 2.1.1 ssh登录服务器 2.1.2 源码的下载.解压.安装 2.1.3 软件安装目录 2.2 进入后台管理 3.wdCP面板的卸载 ...
- 【python爬虫】Pycharm+Scrapy+win10搭建scrapy开发环境+运行一个Demo
准备工作 基础环境准备 win10 pycharm python3(同时保证有pip环境) scrapy环境准备 打开网址https://www.lfd.uci.edu/~gohlke/pythonl ...
- python 模拟登陆智联_Python+scrapy爬虫之模拟登陆
一.126,163邮箱模拟登陆 # -*- coding:utf-8 -*-import timefrom selenium import webdriverdef login126_or_163em ...
- 爬虫模拟登陆手机验证码_Python+scrapy爬虫之模拟登陆
一.126,163邮箱模拟登陆 # -*- coding:utf-8 -*-import timefrom selenium import webdriverdef login126_or_163em ...
- python网络爬虫技术课件_Python网络爬虫技术第7章 Scrapy爬虫.ppt
Request函数常用的参数及其说明如所表示. 编写spider脚本 参数名称 说明 url 接收string.表示用于请求的网址.无默认值 callback 接收同一个对象中方法.表示用于回调用于响 ...
- 【Python笔记】网络爬虫——常用框架介绍以及 Scrapy 框架使用
网络爬虫开发常用框架 Scrapy 爬虫框架 Crawley 爬虫框架 PySpider 爬虫框架 Scrapy 爬虫框架的使用 搭建 Scrapy 爬虫框架 1. 安装 Twisted 模块 2. ...
- 记录vultr搭建https爬虫代理
记录vultr搭建https爬虫代理 记录vultr搭建https爬虫代理 准备 安装squid和httpd-tools,直接yum安装 设置认证的账号密码 配置squid,支持http代理 http ...
- Scrapy爬虫项目的管理部署
前言 为了方便对爬虫项目的流程化管理,需要一款合适的工具.主要实现的功能有: 能对爬虫项目的管理做到"统一"."稳定"."方便": 能够查看 ...
最新文章
- 不同职业阶段的修炼: 多与少
- java注解机制_Java 注解机制
- NIS服务器介绍及搭建
- 第18节 知识管理
- 不同存储区域的数组分析
- PHP 底层的运行机制与原理 --转
- spark的三种运行模式以及yarn-client和yarn-cluster在提交命令上的区别
- JBoss 系列十四:JBoss7/WildFly如何加载外部的文件或properties文件
- Python __str __()和__repr __()函数
- Redis 实战场景
- android使用h5框架,轻量级Android H5 Native Hybrid 框架
- excel两列数据对比找不同_快速找出Excel表格中两列数据不同内容的3种方法!
- 头部姿态估计:《Fine-Grained Head Pose Estimation Without Keypoints》
- conda命令报错Collecting package metadata (repodata.json): failed
- 有1、2、3、4四个数字,可以组成多少个互不相同且无重复的三位数?都是多少?
- 《孙子兵法战略运筹之始计篇》
- java毕业设计——基于java+Jsoup+HttpClient的网络爬虫技术的网络新闻分析系统设计与实现(毕业论文+程序源码)——网络新闻分析系统
- 堡垒机如何传输文件_mac 堡垒机传文件
- 深入交流安卓!音视频时代你还不会NDK开发?已拿offer
- 需求定律公式和需求弹性推导——《可…