python定时爬虫三种方法

第一种

import timefrom scrapy import cmdlinedef doSth():# 把爬虫程序放在这个类里 zhilian_spider 是爬虫的namecmdline.execute('scrapy crawl zhilian_spider'.split())# 想几点更新,定时到几点
def time_ti(h=17, m=54):while True:now = datetime.datetime.now()# print(now.hour, now.minute)if now.hour == h and now.minute == m:doSth()# 每隔60秒检测一次time.sleep(60)
time_ti()## 第二种js中定时任务   超时 间歇调用
第一种方式: 修改配置文件
vim  /etc/crontab     分 时 日 月 周  用户  命令
45 14 19 7 4   root echo '' >> /text.txt    7月19号周四 14点45分  执行 将内容追加到根目录下面的text.txt 中   ## 第三种crontab 命令 crontab -l 列出所有的定时任务    看不到配置文件中写的定时任务
crontab -e 新增计划任务  跟上面的区别在于  没有用户名
crontab  -r 清空计划任务
分  时 日  月  周   命令
55 14  19  7  5    echo '' > /tmp/text.txt
*  *   *   *  *    命令   每分每时每天每月每周 执行这个命令
0-59 0-23 1-31 1-12 0-6  0是 周天 1-6 周一到周六
0  2   *   *   *   mysqldump  每天的2点备份数据库
0  2   *   *   2   sync    每个周二的2点做数据同步
0  8   15  *   *   /home/jsgz.py 每个月15号的八点给大家算工资
0  */2 *   *   *   /home/camera.py 每隔2个小时执行一次查看摄像头
0  8,12,18 * * 1-5 kq.py    每周1-5 的 8点 12点 18点  执行打卡
0  8  *  * * *  spider.sh   每天 8点爬虫spider.sh
#!/bin/bash
cd /usr/lala/spider
scrapy crawl xxxx定时服务  service  cron start|stop|restart   查看服务是否启动
ps -aux | grep cron
root     19134  0.0  0.2  36076  2924 ?        Ss   15:07   0:00 /usr/sbin/cron -f   进程
root     19246  0.0  0.1  21312  1016 pts/18   S+   15:07   0:00 grep --color=auto cron 守护进程

python定时爬虫三种方法相关推荐

python定时爬虫三种方法_Python爬虫定时计划任务的几种常见方法
记得以前的Windows任务定时是可以正常使用的,今天试了下,发现不能正常使用了,任务计划总是挂起.接下来记录下Python爬虫定时任务的几种解决方法. 1.方法一.while True 首先最容易的 ...
java定时执行某个方法_Java中定时执行任务的三种方法
Java中定时执行任务的三种方法 1)java.util.Timer 这个方法应该是最常用的,不过这个方法需要手工启动你的任务: Timer timer=new Timer(); timer.sche ...
pca算法python代码_三种方法实现PCA算法（Python）
主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域.它的主要作用是对高维数据进行降维.PCA把原先的n个特征用数目 ...
pca算法python实现_三种方法实现PCA算法（Python）
主成分分析,即Principal Component Analysis(PCA),是多元统计中的重要内容,也广泛应用于机器学习和其它领域.它的主要作用是对高维数据进行降维.PCA把原先的n个特征用数目 ...
python打印菱形三种方法_用python打印菱形的实操方法和代码
python怎么打印菱形?下面给大家带来三种方法: 第一种 rows = int(input('请输入菱形边长:\n')) row = 1 while row <= rows: col = 1 ...
JAVA爬虫三种方法
文章目录前言一.JDK 二.HttpClient 三.Jsoup 总结前言记录JAVA爬虫三种方式一.JDK 使用JDK自带的URLConnection实现网络爬虫. public void ...
互相关函数python实现的三种方法
本人前段时间在做地震波分析的时候用到互相关函数的计算,所以做了一些具体的研究和分析.用python实现信号的互相关可以有三种方法:一.直接用时域法.二.用频域法.三.python提供的numpy.co ...
Windows下安装Python 模块的三种方法
方法一:cmd命令行窗口首先打开windows上的cmd命令行窗口,再将目录切换到python运行的那个目录下,那怎么查看自己是在那个目录下呢? 鼠标右键点击file,依次点开就可以看到运行路径.在 ...
【图像处理】——图像滤波（Python+opencv实现三种方法：均值滤波、中值滤波、高斯滤波等）
目录一.什么是滤波以及滤波的目的? 二.均值滤波(cv2.blur()) 1.原理 2.关键代码 3.封装代码二.中值滤波(cv2.medianBlur()) 1.原理 2.关键代码 3.封装代码 ...

python定时爬虫三种方法

python定时爬虫三种方法

python定时爬虫三种方法相关推荐

最新文章

热门文章