阿里云后台运行python程序(后台运行scrapy爬虫)的方法
1. 问题引入
通过Xshell工具连接远程阿里云服务器后,如何运行python程序呢?这个大家都知道,python命令啦。
举个栗子:通过Xshell在某个目录下输入命令:python test.py
就执行了test.py这个程序。
但是如果我这个test.py要运行好久呢?比如运行好几天,难道要一直开着Xshell工具,开着本地电脑吗?有没有关掉Xshell连接服务器上的程序依旧运行的方法呢?
当然有啦~
2. 正文
本文就是来讲一下如何后台运行python程序的。
关键的命令:nohup
只需要输入下面的命令就可以在后台一直执行python程序啦
nohup python -u test.py > test.log 2>&1 &
这条命令的意思是,执行test.py程序,并把程序中执行的情况记录到test.log文件中,包括程序异常、程序中打印的信息等。
PS: 也可以把上述命令写成nohup python -u test.py > nohup.out 2>&1 &
唯一的区别就是把日志信息写到nohup.out文件中去了,两种做法都行。
输入后,回车。会打印出一个进程号(我这里是4935)。
通过ps -A
命令查看当前运行的所有进程。你就会发现刚才生成的进程号在列出的进程里面啦。
关掉Xshell,重新连接,再次ps -A
命令查看当前运行的所有进程,哈哈,刚才的那个进程号还在。说明test.py程序还在执行。。。
3. 应用场景
这个方法有没有用呢?当然有用啦!!用处大大地!
比如,我在处理一个220M的文txt文件,需要对其中的所有字符进行替换操作,在本地运行的话,运行3天也运行不完,总不能一直开着我的笔记本吧。买了个阿里云服务器闲着也是闲着,用这个方法就可以在服务器上一直运行啦~
再比如,前一段写爬虫,也是这种情况。爬时光网所有短评,长评,用scrapy框架写的,运行在本地的话要运行几天,不知道要多久。这时候又可以放到阿里云服务器运行了~
这里稍微记录一下如何在远程服务器端后台运行scrapy爬虫程序:
我们都知道,在本地运行scrapy程序只需要命令scrapy crawal myspider
,那么在服务器端,如何运用上述后台运行python文件的方法来运行scrapy程序呢?
简单!再写一个python文件,如run.py,内容如下:
import osif __name__ == '__main__':os.system("scrapy crawl myspider")
然后执行:nohup python -u run.py > run.log 2>&1 &
很显然了,就是在python文件中调用系统命令,运行scrapy crawl myspider
这条命令啦。通过后台运行这个run.py文件,来执行scrapy crawl myspider
这条命令,从而达到后台运行scrapy爬虫程序的目的。
参考文章
https://blog.csdn.net/mulangren1988/article/details/60142418
阿里云后台运行python程序(后台运行scrapy爬虫)的方法相关推荐
- 在Windows上双击运行Python程序不会自动退出的方法
文章目录 在Windows上双击运行Python程序不会自动退出的方法 前言 将python.exe添加到环境变量中 一个Python程序例子 双击运行Python程序报错 双击运行Windows C ...
- 运行python程序的两种方式交互式和文件式_教你如何编写、保存与运行 Python 程序...
第一步 接下来我们将看见如何在 Python 中运行一个传统的"Hello World"程序.Python教程本章将会教你如何编写.保存与运行 Python 程序. 通过 Pyth ...
- Linux在后台运行python程序、脚本程序、可执行程序等,关闭终端仍可保持程序运行
欢迎大家关注笔者,你的关注是我持续更博的最大动力 原创文章,转载告知,盗版必究 Linux在后台运行python程序.脚本程序.可执行程序等,关闭终端仍可保持程序运行 文章目录: 1 为什么需要后台运 ...
- Linux后台运行python程序并输出到日志文件
后台运行python程序并标准输出到文件 现在有test.py程序要后台部署, 里面有输出内容 使用命令: nohup python -u test.py > test.log 2>&am ...
- Windows下后台运行Python程序,并终止特定程序
Windows以后台方式运行Python程序 Set ws = CreateObject("Wscript.Shell") ws.run "cmd /c start.ba ...
- 云服务器运行python程序_云服务器部署python项目
发现python的一个识别验证码识别模块 muggle-ocr(https://pypi.org/project/muggle-ocr/) 成功率还是可以的,打算把把部署到云服务器上 这里记录一下部署 ...
- 运行python程序ModuleNotFoundError?pip下载速度太慢?
当运行python程序遇到ModuleNotFoundError时: 可以使用pip安装module来解决: 可是速度太慢了怎么办?可以加参数使用国内镜像来解决: 国内镜像包括: 清华:https:/ ...
- 安卓手机运行python程序的软件-安卓手机定时运行python脚本
话说现在智能手机的计算能力严重过剩啊,不玩游戏.不打电话.不刷微信时,要充分利用手机的计算潜力为我所用.完全可以把一些台式电脑上的计算任务移到手机上来运行.python就是一个很好的跨平台的解决方案. ...
- 在树莓派里面运行python代码_树莓派如何运行python程序
树莓派如何运行python程序 发布时间:2020-09-23 12:03:39 来源:亿速云 阅读:128 作者:小新 这篇文章主要介绍了树莓派如何运行python程序,具有一定借鉴价值,需要的朋友 ...
最新文章
- 针对《评人工智能如何走向新阶段》一文,继续发布国内外的跟贴留言457-465条如下:
- 重磅丨国资委下发通知,加快推进国有企业数字化转型
- 倒计时一天 坚果智能影院让家用投影投出你的新生活主义
- java IO流面试总结
- android 裁剪圆角矩形,android – 如何使用中心裁剪创建部分圆角矩形可绘制而不创建新位图?...
- 实现threadlocal_ThreadLocal如何实现?
- ThreadLocal知识介绍
- 放弃Venn-Upset-花瓣图,拥抱二分网络
- Android XML文件使用
- 含有Date类型的对象或集合转换成json时的问题
- 计算机图形学——计算机图形系统及硬件基础
- android如何局域网通信,android局域网怎么通信
- word 方框内打勾√或打叉×
- 使用HBuilder mui将图片保存到手机相册(移动端将图片、文件保存至手机相册)
- 计算机系的的毕业感言,计算机班同学的毕业感言
- PP实施经验分享(11)——SAP订单信息系统COOIS应用*增强版*
- 真杜比全景声家庭影院级投影设备,当贝做到了五千元内也支持
- android编程xml动画,Android中xml设置Animation动画效果详解
- 《高级软件测试管理》学习笔记——人员技能 团队构成
- 使用 Redis 实现 Feed 流
热门文章
- 笔记13:Python 和 Elasticsearch 构建简易搜索
- flask常用的第三方平台,第三方库,扩展包
- 读OpenSceneGraph快速入门指导(Paul Martz著王锐钱学雷译)有感
- STVP编译时出现“Error creating process for executable cxstm8”
- 通过文献计量学助您发表高影响因子论文—基于Citespace和vosviewer文献计量学可视化SCI论文高效写作方法
- 破解Excel的方式
- Python 去除图片中多种颜色或者单一颜色
- SpringBoot与SpringCloud的版本对应详细版
- 微信小程序 仿朋友圈
- 焊工证怎么考取需要什么条件?焊工证考试时间是什么时候?