火狐可以使用广告终结者_使用Jupyter从终结者终止的地方重新启动脚本

火狐可以使用广告终结者

您是否曾经遇到过刮板遇到错误的情况[可能是服务器错误或刮板块]，并且不得不重新开始？

你真幸运！您可以使用Jupyter从刮板终止的位置重新启动脚本。我不知道这是如何工作的，但让我给您简要说明如何使用此解决方法。

该解决方案很大程度上取决于Jupyter的“运行代码”功能，在此功能中，我们可以独立于每批代码运行代码块。

从常用的抓取库开始：

Python，Selenium，熊猫，美丽汤和您的老朋友时光。

是该项目所需的库。

在这个解释中，我不会深入研究我的源代码，而是将展示我的第一批抓取代码的外观。

我的代码的简要说明如下：

转到目标站点执行一些操作以使用xpath转到我想使用的特定站点。创建一个名为Compiled_list的数组将javascript中的``地狱''从JavaScript表中剔除（在具有分页功能的网站中处理不会显示在URL）将数组中的数据``转换''为大熊猫数据框。将大熊猫数据表导出为CSV，并用页面命名它们某些部分由于数据敏感性而被屏蔽

我们在这里...什么？服务器已关闭...。

抓很多东西的人讨厌这个错误信息

但是正如我在本文的第一部分中所说的那样，请创建另一批代码，以继续您开始使用的代码。

在继续之前 ：

1）不要关闭与您的脚本连接的Chrome浏览器。如果您这样做，则所有会话/进度都将被删除。

2）请记住检查您抓取的页码，并在下一批代码中进行相应的重新编码。

因此，再次运行该程序……在导出部分中，在设置编号为no的ID号中稍有更改。

在运行此代码块之前，我编辑了设置号码

和田田！我们继续抓取其余的场景

其余代码正在运行:-)

但是，如果网站服务器像我的目标网站一样不稳定，请提防连续错误。每当您的程序与网站的连接中断时，请重复上述过程。

我无法弄清楚如何使这部分自动化，但是如果您的真棒读者都知道答案，请在下面评论。

无论如何，就是伙计们〜jupyter抓取时间机器。

翻译自: https://hackernoon.com/use-jupyter-to-restart-the-script-from-the-point-where-the-scrapper-terminated-jp6g32fm

火狐可以使用广告终结者

火狐可以使用广告终结者_使用Jupyter从终结者终止的地方重新启动脚本相关推荐

广告投手_测量投手隐藏自己的音高的程度
广告投手 As the baseball community has recently seen with the Astros 2017 cheating scandal, knowing what ...
linux 火狐清缓存,怎么清理新版火狐浏览器的缓存_浏览器指南
怎么清理新版火狐浏览器的缓存_浏览器指南发表时间:2020-09-29 来源:必杀器整理软件安装:火狐浏览器 Mozilla Firefox,中文俗称"火狐"(正式缩写为Fx或 ...
划痕实验迁移面积自动统计_从Jupyter迁移到合作实验室
划痕实验迁移面积自动统计 If you want to use Google Colaboratory to perform your data analysis, for building dat ...
百度医疗广告卷土重来_冷静的技术正在卷土重来，好的设计可以使其坚持下去...
百度医疗广告卷土重来 By Liz Stinson 丽兹·斯汀森(Liz Stinson) Last week I made progress. I was down 20 minutes. Inst ...
什么命令看服务器系统,查看linux系统版本可以使用什么命令_网站服务器运行维护...
win10系统任务栏不显示应用图标怎么办_网站服务器运行维护 win10系统任务栏不显示应用图标的解决方法是:1.鼠标右键点击任务栏空白处,在弹出的选项列表中选择[任务管理器]选项:2.右键点击[Wi ...
与火狐浏览器对应版本_你下载的是原版的火狐浏览器吗？如果不清楚，这篇文章会让你明白...
点击蓝字关注我们关于火狐浏览器,相信不用我介绍,都有很多人知道这款大名鼎鼎的电脑浏览器.因为其优秀的兼容性和稳定性以及快速.极少卡顿等优点,收获了大量忠实用户. 可以说,火狐浏览器是PC最好用的浏览 ...
简易记事本广告弹窗_人民日报批弹窗广告，教你几个屏蔽弹窗广告的小技巧
弹窗广告,对于经常上网的人来说,一定不陌生."不请自来"以及"赖着不走",可以说是弹窗广告的最大特征.天下网友苦弹窗广告久矣-- 近日,人民日报刊文<&q ...
python notebook配置_使用 Jupyter Notebook 配置 Stata\Python\Julia\R
作者:许梦洁 (中山大学) E-mail: xumj9@mail2.sysu.edu.cn 原文链接:磐石若水 → 使用 Jupyter Notebook 配置 Stata/Python/Julia/ ...
火狐同步safari书签_如何将Safari浏览器的Chrome，Firefox和Internet Explorer书签同步
火狐同步safari书签 If you use a Mac and Windows on a regular basis, then chances are pretty good you use a ...
骗子广告联盟_骗子把我的脸变成了Google广告
骗子广告联盟 For many years, Google Adsense has provided a platform for anyone to purchase ad space for th ...

火狐可以使用广告终结者_使用Jupyter从终结者终止的地方重新启动脚本

火狐可以使用广告终结者_使用Jupyter从终结者终止的地方重新启动脚本相关推荐

最新文章

热门文章