美文网首页jouypub.com
Python定时任务随机时间执行

Python定时任务随机时间执行

作者: JouyPub | 来源:发表于2019-08-13 10:14 被阅读1次

背景:
有一个爬虫服务,需要定时从公开网站上拉取一些数据,为了避免被识别为爬虫(防爬虫的识别需要根据很多特征,时间仅仅是其中一个维度),需要在指定的时间内,随机生成一个时间爬取

脚本是python写的,直接上代码...

import logging
import traceback
from datetime import datetime
from apscheduler.schedulers.background import BackgroundScheduler

scheduler = BackgroundScheduler()

def spider_schedule():
    # spider_schedule是job_id
    scheduler.remove_job('spider_schedule')

    try:
        print 'spider start... ', datetime.now().strftime('%Y-%m-%d %X')
        #--------自己的业务代码-------
        pass
        #---------------------------
        print 'spider end... ', datetime.now().strftime('%Y-%m-%d %X')
    except Exception as e:
        print traceback.format_exc(e)
    finally:
        interval_minutes = random.randint(60, 120)  # 1-120分钟随机选一个时间
        interval_seconds = random.randint(1, 60)  # 1~60秒随机选一个时间
        scheduler.add_job(spider_schedule, 'interval', minutes=interval_minutes, seconds=interval_seconds, id='spider_schedule')


if __name__ == '__main__':
    scheduler.add_job(spider_schedule, 'interval', seconds=10, id='spider_schedule')
    scheduler.start()
欢迎订阅「K叔区块链」 - 专注于区块链技术学习
博客地址:http://www.jouypub.com
简书主页:https://www.jianshu.com/u/756c9c8ae984
segmentfault主页:https://segmentfault.com/blog/jouypub
腾讯云主页:https://cloud.tencent.com/developer/column/72548

相关文章

  • Python定时任务随机时间执行

    背景:有一个爬虫服务,需要定时从公开网站上拉取一些数据,为了避免被识别为爬虫(防爬虫的识别需要根据很多特征,时间仅...

  • Python设置定时任务

    如果需要用Python实现定时任务,包括多长时间之后执行、每隔多久循环执行、每天的几点执行等,都算定时任务。实现定...

  • Python 定时任务的实现方式

    背景目前所在的项目组需要经常执行一些定时任务,于是选择使用 Python 的定时器。 Python 实现定时任务 ...

  • Android中 Handler延时 定时任务

    1.延时 2.定时任务,间隔固定时间执行某项任务 3.定时任务,间隔固定时间执行某项操作后关闭定时任务 参考:ht...

  • 【python】定时执行任务

    schedule 官网示例: 本地实例:

  • 7.C# 三种Timer

    简介:定时器一般用作「固定时间间隔」执行某个「任务」。 两种情况: 「固定时间间隔」执行某个「不耗时」任务 例...

  • Linux定时任务之crontab(待续)

    标签: crontab 定时任务 Linux 一、需求 写了一个Python小程序,需要在Linux每天定时执行。...

  • Java中的任务调度

    任务调度是指基于给定时间点,给定时间间隔或者给定执行次数自动执行任务。 Java中几种任务调度方式 Timer S...

  • Quartz.net设置任务中同时最多运行一个实例 [Disal

    Quartz定时任务默认都是并发执行的,不会等待上一次任务执行完毕,只要间隔时间到就会执行, 如果定时任执行太长,...

  • flock防止crontab重复执行

    问题描述:如果定时任务(crontab)间隔时间较短,执行的任务比较耗时,导致上一个定时任务还没执行完,下一个定时...

网友评论

    本文标题:Python定时任务随机时间执行

    本文链接:https://www.haomeiwen.com/subject/tufvjctx.html