美文网首页
从0搭建区块链资讯网站(6-5)Linux每天自动执行爬取脚本

从0搭建区块链资讯网站(6-5)Linux每天自动执行爬取脚本

作者: 子鱼文业 | 来源:发表于2018-07-23 23:05 被阅读0次

    本节我们要将我们写好的脚本同步到服务器上,并设置每天的自动更新。

    1. 通过WinScp复制我们的整个文件夹到服务器的跟目录下

    2. 打开putty,复制根目录下的文件到usr/local下: mv BitSpider/ /usr/local/

    3. 用whereis crontab 查看corntab在哪里,找到了以后,切换到这个目录下, 然后输入:0 0 9,14,19 * * root cd /root/Various_bit/ArticleSpider/ && python3 entry.py

    标识9,14,19点执行任务,先切换路径,然后执行

    这个表示每天9点执行一次

    配置自动执行

    4. 按esc,:wq保存退出即可

    这样在每天的9点,爬虫将自动执行一次,将当天新的文章补充进来

    5. 在入口python里面,要用原始路径的scrapy查询: os.system('/usr/bin/scrapy crawl bitcoin_eos -s LOG_FILE=spider.log')

    相关文章

      网友评论

          本文标题:从0搭建区块链资讯网站(6-5)Linux每天自动执行爬取脚本

          本文链接:https://www.haomeiwen.com/subject/mbrfmftx.html