美文网首页爬虫Python中文社区Python之旅
微博爬虫开源项目汇总大全(长期更新、欢迎补充)

微博爬虫开源项目汇总大全(长期更新、欢迎补充)

作者: Python中文社区 | 来源:发表于2016-09-11 22:39 被阅读1578次

    SinaSpider- 基于scrapy和redis的分布式微博爬虫。SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。数据库设置Information、Tweets、Follows、Fans四张表。爬虫框架使用Scrapy,使用scrapy_redis和Redis实现分布式。此项目实现将单机的新浪微博爬虫重构成分布式爬虫。

    sina_reptile- 这是一个关于sina微博的爬虫,采用python开发,并修改了其sdk中的bug,采用mongodb存储,实现了多进程爬取任务。 获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写,多进程爬取,将数据存储在了mongodb中

    sina_weibo_crawler- 基于urlib2及beautifulSoup实现的微博爬虫系统。利用urllib2加beautifulsoup爬取新浪微博,数据库采用mongodb,原始关系以txt文件存储,原始内容以csv形式存储,后期直接插入mongodb数据库

    sina-weibo-crawler-方便扩展的新浪微博爬虫。WCrawler.crawl()函数只需要一个url参数,返回的用户粉丝、关注里面都有url,可以向外扩展爬取,并且也可以自定义一些过滤规则。

    weibo_crawler-基于Python、BeautifulSoup、mysql微博搜索结果爬取工具。本工具使用模拟登录来实现微博搜索结果的爬取。

    SinaMicroblog_Creeper-Spider_VerificationCode- 新浪微博爬虫,获得每个用户和关注的,粉丝的用户id存入xml文件中,BFS,可以模拟登陆,模拟登陆中的验证码会抓取下来让用户输入。

    ----------------------

    本项目收录各种微博爬虫开源项目,并长期更新,欢迎补充。

    更多Python干货欢迎关注:

    微信公众号:Python中文社区

    知乎专栏:Python中文社区

    Python QQ交流群 :152745094

    --------------------------

    微信公众号:Python中文社区

    Python QQ交流群 :152745094

    --------------------------

    Python学习资源下载:

    Python开发基础教学视频(密码请关注微信公众号“Python中文社区”后回复“视频”二字获取)

    Python学习资料PDF电子书大合集(密码请关注微信公众号“Python中文社区”后回复“资料”二字获取)

    -----------------------

    相关文章

      网友评论

        本文标题:微博爬虫开源项目汇总大全(长期更新、欢迎补充)

        本文链接:https://www.haomeiwen.com/subject/tatpettx.html