pythonwin10下使用定时任务执行爬虫程序

公司有一个需求，每天定时执行一次爬虫以便得到目标数据。一下是定时任务的配置过程以及一个大坑（花费了我两个小时）。

1.打开任务计划程序

2.创建基本任务

3.填写触发器出发时间

4.定义定时任务的操作为“启动程序”

5.选择启动程序

选择你的脚本

这里有一个大坑
别看“起始于”那个参数是可选的，如果不填的话就会报0x2的错误，导致定时任务执行失败：

第一个填写你的脚本的绝对路径+脚本名称，
第二个参数填写的是你的脚本的绝对路径；

以下是我的脚本：（.bat文件，只用一行代码）

python video.py

以下是video.py:

# -*- coding: utf-8 -*-
import os
import timecommand3 = 'scrapy crawl tencent3_spider -o '+str(time.strftime('%Y-%m-%d', time.localtime(time.time())))+'_show_tencent.csv'os.chdir('C:\\Users\\geekp\\Desktop\\1\\1\\tencent_show')
os.system(command3)
print '******************'
print '******************'
print 'success'

6.在“当点击完成时打开任务对话框”处打勾

7,配置出选择windows10

最后是点击确定，这时候会让你输入密码，输完密码你的任务就可以执行了。

pythonwin10下使用定时任务执行爬虫程序相关推荐

在Linux系统下编译并执行C++程序
引言为什么要在Linux下写程序? 首先要问一下自己,为什么要写这个程序. 如果我们写一个运行在windows平台的应用程序,那么用Linux写肯定是傻瓜或者强迫症,因为在windows平台调试wi ...
Python 中 selenium 设置参数，不打开可视化页面，后台执行爬虫程序
前言在使用 selenium 浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的 chrome 浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用.相对应的,当我 ...
Ubuntu下添加定时任务执行php文件
//添加自动下载定时任务 1. vim /etc/crontab 2. 添加 #每5分钟执行一次 */5 * * * * root /usr/bin/php /home/wwwroot/123.php ...
scrapy保存、中断、继续执行爬虫程序
在scrapy文件中的custom_settings写入JOBDIR即可,比如: 'JOBDIR': '../jobs/baidu_news', baidu_news这个位置就是当程序停止爬虫的时候当 ...
爬虫python怎么下载_在网上下了一个 python 爬虫程序，怎么运行？
第 1 条附言 · 2016-07-02 18:51:15 +08:00 我换 linux 环境现在可以运行了,运行$ python doubanSpider.py 后一直在下载,是什么意思额? /u ...
Scrapy：运行爬虫程序的方式
Windows 10家庭中文版,Python 3.6.4,Scrapy 1.5.0, 在创建了爬虫程序后,就可以运行爬虫程序了.Scrapy中介绍了几种运行爬虫程序的方式,列举如下: -命令行工具之s ...
Spring task定时任务执行一段时间后莫名其妙停止的问题
前因: 我写了一个小项目,主要功能是用Spring task定时任务每天定时给用户发送邮件.执行了几个月一直没有问题,前几天,莫名其妙的突然不再发送邮件了. 只好花费一些时间来查看到底是什么原因造成的 ...
带你快速了解爬虫的原理及过程，并编写一个简单爬虫程序
目录前言你应该知道什么是爬虫? 一.Scrapy的基本执行过程二.Scrapy的实现 2.1Scrapy框架安装 2.2创建项目 (1)爬虫框架组件介绍 (2)控制台运行创建框架命令(spide ...
python 定时执行爬虫模块_浅析python实现scrapy定时执行爬虫
项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序main.py ,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行. 最简单的方法:直接使用Timer类 ...