实战:基于Scrapy+Elasticsearch+Django

作者: 東飛 | 来源:发表于2018-03-28 14:42 被阅读44次

Just Downlink

实战:基于 scrapy + elasticsearch + django 搭建的分布式电影搜索
源码:https://github.com/GFigure/JustDownlink
网页链接:Just Downlink

  • 利用 scrapy 爬取知名电影网站的下载链接
  • 利用 elasticsearch 存储数据
  • 利用 django 搭建电影搜索界面

数据采集

  • 支持同步、异步数据存储至 Mysql 数据库
  • 支持 elasticsearch 数据存储
  • 支持 json 数据导出
  • 保存日志至 logs 目录

搜索界面

  • 搜索建议
  • 简化电影下载页面

电影网站

相关文章

网友评论

    本文标题:实战:基于Scrapy+Elasticsearch+Django

    本文链接:https://www.haomeiwen.com/subject/aenycftx.html