欢迎光临
我们一直在努力

scrapy定时执行抓取任务

1、写一个shell脚本,加入命名为test.sh内容如下:

#! /bin/sh 
export PATH=$PATH:/usr/local/bin

#进入.py脚本所在目录
cd /data/apps/scrapy/weather/weather/spiders

#执行.py中定义的项目example,并指定日志文件,其中nohup....&表示可以在后台执行,不会因为关闭终端而导致程序执行中断。
nohup scrapy crawl example >> example.log 2>&1 &

2、通过crontab -e命令新增一个定时器,定时执行上面的shell脚本test.sh:

05 8,12,18 * * *  (/bin/sh /data/apps/scrapy/weather/weather/spiders/test.sh)


打赏
未经允许不得转载: » scrapy定时执行抓取任务
分享到: 更多 (0)

评论 0

莫等闲、白了少年头,空悲切 - 繁华emoji

联系我们 联系我们

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏