美文网首页爬虫Python程序员
xiaolinBot(Twitter笑话集锦爬虫Bot) Ste

xiaolinBot(Twitter笑话集锦爬虫Bot) Ste

作者: BONFY | 来源:发表于2016-05-17 09:10 被阅读938次

    Step0 - 概述

    功能描述

    看到Twitter上有好多定时更新笑话集锦的帐号,觉得自己也可以试试,就申请了 @xiaolintemple 这个号,利用爬虫定时更新笑话

    目前主要笑话来源于 百思不得姐 以及 糗事百科,后期还可以继续扩展

    先上效果图

    效果图

    用到的模块和知识点

    软件

    python第三方库

    • requests : 一个封装了HTTP服务的python库

    • pyquery : 类似Jquery,使用非常方便

    • schedule : job scheduling Python库

    • pymongo : Mongodb的python库

    • twython : 封装的twitter库

    适配器

    这里会用到适配器,通配各种网站的爬虫代码,方便扩展更多网站

    目的

    主要目的有两个:

    1. 个人总结。以前码完代码之后,也不会总结,也许过段时间再回过头来再看代码,总会觉得遗漏掉了一些什么,当初怎么想,为什么这么写之类的,也想利用这个机会好好总结一下。

    2. 这次写的比较细,如果能给刚开始写爬虫的朋友一些借鉴的话,那也算是快事一件。也欢迎大家pull request,一起交流

    项目地址

    Github地址: https://github.com/bonfy/xiaolinBot

    欢迎大家一起交流

    下一篇已发布 xiaolinBot(Twitter笑话集锦爬虫Bot) Step1-最简爬虫

    相关文章

      网友评论

        本文标题:xiaolinBot(Twitter笑话集锦爬虫Bot) Ste

        本文链接:https://www.haomeiwen.com/subject/prqirttx.html