部署scrapy爬虫到AWS Ubuntu 18.04，用crontab定时执行

本文介绍了如何把windows下面的scrapy脚本部署到AWS Ubuntu上，并使用crontab定时执行。

我的scrapy爬虫原来部署在windows服务器，爬虫每个小时从几个字幕网站爬字幕。字幕文件（即文本文件保）存在本地，但是字幕的metadata保存在Azure Database上。除了python爬虫，我还有一个.net程序复制处理爬虫获取的数据。

申请AWS EC2 Ubuntu虚拟机

AWS不用翻墙就能使用，而且提供免费虚拟机。申请的时候，只需要注意Security Group就行了。
我申请的是Ubuntu Server 18.04

Security Group
Inbound使用默认值，即SSH-TCP-22。

Outbound我加上了HTTP，HTTPS和MSSQL。

安装各种软件

首先安装Miniconda
https://docs.conda.io/en/latest/miniconda.html

安装以后修改PATH

export PATH=~/anaconda3/bin:$PATH

然后推出exit，并重新连接。

然后安装scrapy

conda install scrapy

安装MSSQL Driver
不要看网上乱七八糟的文章，直接看微软官方文档
https://docs.microsoft.com/en-us/sql/connect/odbc/linux-mac/installing-the-microsoft-odbc-driver-for-sql-server?view=sql-server-2017

其他根据需要安装，如果pip安装不了，就换conda。

用SCP复制文件到AWS Ubuntu

经过很多弯路以后，我选择了scp

scp -r -i "amazonsigaporeec2.pem" D:\xxx\xxx\* ubuntu@xxx.xxx.ap-southeast-1.compute.amazonaws.com:/home/ubuntu/xxx/

-i指identity_file，即AWS下载的那个文件。
-r是recursive，这样才会复制子文件夹。

使用crontab定时运行程序

crontab简介
Linux有两个定时运行程序的方法，一个是at，一个是crontab。at用于一次性运行的程序，crontab用于反复运行的程序。我们这里当然使用crontab
cron源于希腊语χρόνος (chronos)，意思是时间。cron是类Unix系统的Job scheduler。

cron表达式（CRON expression）有五部分组成，分别是：分，时，日，月，周。有些资料上说有六个，第六个是年。部分之间用空格分隔。

每个部分的语法是一样的，拿秒来说，它可以是
*，表示每分钟 every minute
*/n，表示每n分钟，every n minutes
n，第n分钟
n-m，第n到第m分钟

具体到我的任务，我希望每个小时运行一次，所以我的cron表达式是：

8 * * * *

即每个小时8分的时候，脚本执行。

cron脚本很简单，就是cron表达式+可执行文件。
在Linux使用以下命令编辑crontab

crontab -e

然后输入

8 * * * * /home/ubuntu/spider/srt_en_cn/spider.sh

具体关于cron的介绍：
https://en.wikipedia.org/wiki/Cron

日志
我们希望把程序执行时候的output输出到log文件，这时可以修改cron脚本如下

8 * * * * /home/ubuntu/spider/srt_en_cn/spider.sh >> /home/ubuntu/spider/srt_en_cn/1.log 2>&1

这样就会把日志写入/home/ubuntu/spider/srt_en_cn/1.log。

使用以下命令查看crontab程序启动时间

grep CRON /var/log/syslog

我这里的输出如下

(base) ubuntu@ip-172-31-16-156:~/spider/srt_en_cn$ grep CRON /var/log/syslog
Mar 22 10:36:41 ip-172-31-16-156 cron[745]: (CRON) INFO (pidfile fd = 3)
Mar 22 10:36:41 ip-172-31-16-156 cron[745]: (CRON) INFO (Running @reboot jobs)
Mar 22 11:17:01 ip-172-31-16-156 CRON[2371]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Mar 22 12:17:01 ip-172-31-16-156 CRON[15446]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)

crontab里面的路径问题
我一开始使用crontab的时候，总是出现python command not found, scrapy command not found。于是，我在bash脚本里面加上了

echo $PATH

结果输出是这样的。

/usr/bin:/bin

而我的miniconda安装在 /home/ubuntu/miniconda3/bin/
所以，需要在bash文件种加上

PATH=/home/ubuntu/miniconda3/bin/:$PATH
export PATH

最后，我的bash是这样的

#!/bin/bash
PATH=/home/ubuntu/miniconda3/bin/:$PATH
export PATH
echo start
cd ~/spider/srt_en_cnscrapy crawl xxx
scrapy crawl yyy
scrapy crawl zzz
scrapy crawl aaa
python bbb.py
python ccc.py./executable