美文网首页
爬虫框架Scrapy之定时执行

爬虫框架Scrapy之定时执行

作者: whele | 来源:发表于2018-06-27 17:16 被阅读0次

最简单的方法:直接使用Timer类

import time
import os

while True:
    os.system("scrapy crawl News")
    time.sleep(86400)  #每隔一天运行一次 24*60*60=86400s

使用标准库的sched模块

import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数,第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )

#被周期性调度触发的函数
def func():
    os.system("scrapy crawl News")
def perform1(inc):
    schedule.enter(inc,0,perform1,(inc,))
    func()    # 需要周期执行的函数
def mymain():
    schedule.enter(0,0,perform1,(86400,))

if __name__=="__main__":
    mymain()
    schedule.run()  # 开始运行,直到计划时间队列变成空为止

可以根据需要选择使用。

相关文章

网友评论

      本文标题:爬虫框架Scrapy之定时执行

      本文链接:https://www.haomeiwen.com/subject/vrkiyftx.html