proxy_pool开源项目攻克学习2:服务器架设
proxy_pool开源项目攻克学习2:服务器架设
在这个文章proxy_pool开源项目攻克学习中,我们完成了本地的proxy_pool架设。现在我们将他转移到服务器上。
硬件环境准备
- 腾讯centos服务器。
软件环境准备
- redis
- python3.7
- proxy_pool开源项目
安装过程
总结安装Proxy_pool的顺序过程
准备环境
python环境
redis服务器下载安装开源代码
安装开源代码的依赖
配置setting
启动proxy_pool
step1. 准备环境
redis安装在centos上使用
yum install redis
安装完成后,配置路径在
/etc/redis.conf
python安装参考linux环境下安装多个任意版本的python环境
step2. 安装proxy_pool开源代码
网址
https://github.com/jhao104/proxy_pool
git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
# 这里一定要升级一下flask,否则后续一定会报错
pip3 install Flask==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/
step3. 配置redis
配置
vim /etc/redis.conf# 找到requirepass 去掉注释,设置密码
requirepass 123456
# 找到daemonize 去掉注释,改为yes,设置守护线程
daemonize yes
在Linux上,如果开了redis的守护进程,kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 ,杀掉就会重新启动一个新的进程
最后在网上找到这个命令,可以杀掉redis的守护线程:
/etc/init.d/redis-server stop
启动和验证
# 若命令直接返回,说明守护线程已经开启
redis-server /etc/redis.conf#测试, 返回PONG说明启动成功
redis-cli127.0.0.1:6379 > auth 123456
127.0.0.1:6379 > ping
PONG
step4. 配置setting.py
HOST 不用改,PORT也可以不用改,这是你flask打开的默认地址,
数据库需要改一下,pwd改成你刚才设置的"123456"或者你自己设置的值。
端口改成6379。因为我们没有改redis-server的地址。
其他的不用动。然后再启动python脚本。
# setting.py 为项目配置文件# 配置API服务HOST = "0.0.0.0" # IP
PORT = 5000 # 监听端口# 配置数据库DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'# 配置 ProxyFetcherPROXY_FETCHER = ["freeProxy01", # 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py"freeProxy02",# ....
]
step5. 后台启动python脚本
nohup python -u proxyPool.py schedule > schedule.log 2>&1 &
nohup python -u proxyPool.py server > server.log 2>&1 &ps -ef | grep python
这样以后就可以关闭终端,而保持进程在运行了。
step6. 问题与解决
python安装问题请参考linux环境下安装多个任意版本的python环境
开源项目问题或redis问题请参考proxy_pool开源项目攻克学习
proxy_pool开源项目攻克学习2:服务器架设相关推荐
- proxy_pool开源项目攻克学习
开源项目攻克学习之proxy_pool 1. 学习背景 爬虫线程池,但是网络上付费的又很麻烦,于是在开源网站上找到一个版本进行学习. https://github.com/jhao104/proxy_ ...
- Android 开源项目及其学习
Android 系统研究:http://blog.csdn.net/luoshengyang/article/details/8923485 Android 腾讯技术人员博客 http://hukai ...
- 开源项目Krita学习(一)
开源项目Krita学习(一) Krita是一个开源的绘画软件,处于对科学技术和人文艺术的追求,我从今日起开始了对此项目的学习. 1.Jenkins CI 进入Krita的github仓库后,一个陌生的 ...
- 开源项目Krita学习(二)
开源项目Krita学习(二) 专有名词记录 nightly版本: 所谓nightly版本,通常是开发者自己维护的一个版本.白天的时候开发者们将各自的修改提交到一个中心代码库,然后在晚上做一次编译得到的 ...
- 读《借助开源项目,学习软件开发》总结
读<借助开源项目,学习软件开发>总结 GitBook文章源地址:文章源地址 一.前言 准备条件:(1)一台能上网的电脑(2)首选系统Ubuntu,其次Windows 二.开始 (1)软件开 ...
- ROS实验笔记之——基于Prometheus自主无人机开源项目的学习与仿真
最近在公众号上看到Prometheus无人机的资料,发现里面开源了很好的无人机的仿真环境,并且有很好的教程.而本人正好在上<Introduction to Aerial Robotics> ...
- 借助开源项目,学习软件开发——开始
借助开源项目,学习软件开发--开始 原文地址:点击打开链接 http://sbbs.me/view_article/506070b108158e166400001b 2. 开始 2.1. 学习软件开 ...
- iOS及Mac开源项目和学习资料
iOS UI 下拉刷新 EGOTableViewPullRefresh – 最早的下拉刷新控件. SVPullToRefresh – 下拉刷新控件. MJRefresh – 仅需一行代码就可以为UI ...
- OS及Mac开源项目和学习资料【超级全面】
UI 下拉刷新 EGOTableViewPullRefresh – 最早的下拉刷新控件. SVPullToRefresh – 下拉刷新控件. MJRefresh – 仅需一行代码就可以为UITable ...
- Android开源项目 资源 学习
转载了一个开源项目的文章,转载一篇有系统总结的文章.感谢博主的慷慨,让我们学习! Android开源项目系列汇总已完成,包括: Android开源项目第一篇--个性化控件(View)篇 Android ...
最新文章
- 报错Failed to initialize JPA EntityManagerFactory: Unable to create requested service解决方法
- makefile跨平台,动态库,静态库
- java的http请求头信息_HTTP请求头所包含的信息
- 使用Jquery 结合后台数据库显示类似QQ图片中心
- 官方博客明确了 .NET Core RC2/RTM 时间表
- python从列表随机取出多个数据_【python】从数组随机取数据
- 工作总结12:封装组件
- sparse non-rigid registration of 3d shapes
- 计算机ppt板块正文文本动画在哪,《计算机应用基础》统考辅导第章PowerPoint电子演示文稿.ppt...
- 笔记︱精准营销解决方式以及营销组合评估
- python里的正则表达式
- c语言正方体的表面积和体积公式,长方体的表面积(正方体体积的计算公式)
- 这五大基础原理,总是牛逼的无话可说
- android post请求时报415错误,post请求传递JSON数据类型(415错误解决)
- (转载)位图的光栅操作及ROP码解析
- OSPF路由协议总结(一)
- 如何先梳理业务逻辑再写代码
- 连接 MySql 数据库
- 蘑菇模拟器TV版 for Android,真实采集蘑菇模拟器
- 【读点论文】EfficientNetV2: Smaller Models and Faster Training 训练感知的神经架构搜索+自适应的渐近训练方法优化训练(TPU,大数据量)