我有一个网络爬行

python脚本在终端上运行了几个小时,它不断填充我的数据库.它有几个嵌套的for循环.出于某些原因,我需要重新启动计算机并从我离开的地方继续我的脚本.是否可以保留指针状态并恢复以前在终端中运行的脚本?

我正在寻找一个可以在不改变python脚本的情况下工作的解决方案.修改代码的优先级较低,因为这意味着重新启动程序并重新投入时间.

更新:

感谢VM的建议.我会接受的.为了完成,应该对脚本进行哪些通用修改以使其暂停和恢复?

UPDATE2:

在VM上移植工作正常.我还修改了脚本,使其能够对网络故障进行故障保护.代码如下.

最佳答案 您可以尝试挂起计算机或在虚拟机中运行,然后可以暂停.但是,由于您的脚本正在使用网络连接,因此一旦启动系统,您的脚本将无法从您离开的位置开始工作.暂停计算机并将其恢复或保存虚拟M / C并恢复它意味着您需要重新建立网络连接.对于系统外部的任何元素都是如此,网络就是其中之一.并且很有可能如果您使用动态网络,下次启动时您将获得一个新的IP,并且您之前工作的网络状态将无效.

如果您打算修改脚本,那么您需要记住的一些事情.

>添加序列化和反序列化功能. Python有pickle和更快的cPickle方法.

>添加重启点.执行此操作的最佳方法是定期保存状态,并在重新启动脚本时,在建立所有瞬态元素(如网络)后从上次保存的状态重新启动.

这不是一件容易的事,所以考虑投入大量的时间:-)

注意***

再想一想.更改脚本有一种替代方法.您可以尝试使用Amazon EC2等云虚拟化解决方案.

python需要联网运行吗_如何暂停在终端中运行的python脚本相关推荐

  1. linux 开机自动运行命令_如何在Linux终端同时运行多个Linux命令

    在一行中运行两个或多个命令可以节省大量时间,并在Linux中提高效率.在Linux中,有三种方法可以在一行中运行多个命令: ; Command 1 ; Command 2 首先运行Command1,然 ...

  2. java获取vm运行参数_如何获取在Java中运行Java VM的版本?

    java获取vm运行参数 To get the version of running VM (Virtual Machine) in Java, we use the getProperties() ...

  3. java获取vm运行参数_如何获取在Java中运行Java VM的名称?

    java获取vm运行参数 To get the name of running VM (Virtual Machine) in Java, we use the getProperties() met ...

  4. python 运行cmd命令失败怎么办_python manage.py runserver命令在cmd命令框中可以正确执行,但是在pycharm的终端中运行就失败了!...

    源自:2-2 初始Django项目 python manage.py runserver命令在cmd命令框中可以正确执行,但是在pycharm的终端中运行就失败了! (venv) E:\python\ ...

  5. arcgis支持python3吗_常见问题解答:ArcGIS 中使用的 Python 是什么版本?

    常见问题解答:ArcGIS 中使用的 Python 是什么版本? 问题 常见问题解答:ArcGIS 中使用的 Python 是什么版本? 答案 Python 编程语言用于自 9.0 起的各版本 Arc ...

  6. python程序run不了_无法通过计划程序正确运行Python脚本

    因此,我研究并测试了多种方法以使其发挥作用,但我们的IT人员和我自己都不确定如何继续.最终,我需要在服务器上运行三个python脚本,这些脚本查看一组Excel文件并扫描错误.如果有错误,它会通过电子 ...

  7. python自动化办公第二节_自动化测试第二节-jmeter关联+抓包+python基础

    1.jmeter关联:从上一个请求中获取返回值提供给下一个请求使用 2.解决jmeter乱码问题: 打开apache-jmeter-2.11\bin\jmeter.properties文件,搜索&qu ...

  8. python asyncio和celery对比_如何将Celery与asyncio结合? - python

    如何创建使芹菜任务看起来像asyncio.Task的包装器?还是有更好的方法将Celery与asyncio集成? @ asksol,Celery的创建者said this:: 使用Celery作为异步 ...

  9. python module是干什么的_如何最简单、通俗地理解Python的模块?

    目录: 一.笔记 二.笔记目录 一.笔记 1) 模块 ① Python模块(Module),是一个Python文件,以.py结尾,包含了Python语句和Python对象定义,模块让你能够有逻辑地组织 ...

最新文章

  1. 八大操作系统掌门人齐聚 1024 程序员节,千年岳麓见证开源新时代
  2. 准备:新V8即将到来,Node.js的性能正在改变
  3. 【IT资讯】华为方舟编译器编译工具正式发布和工具下载
  4. centos7.5 下LNMP搭建
  5. 用ASP.NET Core构建可检测的高可用服务--学习笔记
  6. Java设计模式之迭代器模式
  7. Cocoa依赖包管理工具
  8. 深入浅出带你了解Python2与Python3的异同
  9. 【转】基于nginx + lua实现的反向代理动态更新
  10. 如何学习Android系统源码
  11. openwrt 问题四 9531编译解决方法
  12. 将业务做到遍布全球,需要多大的IT运维团队?
  13. 仓央嘉措---不负如来不负卿---问佛--见与不见
  14. fiddler4在win7抓取https的配置整理
  15. linux 空格变问号,遭遇UTF-8编码转换后,空格变成问号的问题
  16. CMDS目的端数据库碎片整理记录
  17. tensorflow输出的人脸图片经过OpenCV write的图片是蓝色的问题的解决方案
  18. 常见的DNS记录类型有哪些?如何查询DNS解析记录?
  19. Unity API常用方法和类
  20. UML与Java-- UML类图于Java的基本实现

热门文章

  1. 5分钟搞定jQuery zepto.js 面向对象插件
  2. 题解 P5259【欧稳欧再次学车】
  3. django F和Q 关键字使用
  4. Navicat Premium创建MySQL存储过程
  5. 四川汶川地震祈福赈灾宣传画、报纸头版精选第二版(超多图)
  6. Rose与PowerDesigner:两款建模工具对比分析比较
  7. float与double类型参数区别_8大基本数据类型及包装类,不知道这些点别说自己是大佬...
  8. 哈工大未来计算机院士,中国双一流大学拥有院士校友数排名,这是真实力!哈工大依然很强...
  9. 个人信息管理系统代码_Thymeleaf+SpringBoot+Mybatis实现的易游网旅游信息管理系统...
  10. tfw文件如何导入cad_如何将CAD的线稿导入PS并和底色分离