简书爬虫

简书爬虫

此功能纯粹为个人意想功能,利用业余时间来学习Node。所有内容均已开源,欢迎各种PR和Fork。

• 源代码

  • https://github.com/aimer1124/JianshuSpider

• 需求

  • Teambition-简书爬虫

• 效果图

  • Home
  • Article
  • Author
  • Collections
  • Search

• ShowCase

  • Home

    
    HomePage

  • Articles

    
    Articles

  • Authors

    
    Authors

  • Collections

    
    Collections

  • Search
    

    UnSearch
    
    
    Search

• 启动

  • DB: sudo mongod

  • 程序: gulp

  • 测试: gulp test

• 版本

  • Node: 4.4.3

  • Mongo: 3.0.3

• 引用包列表

  • express: http://expressjs.com/,node web框架

    • body-parser: 请求数据体的转换中间件

    • cookie-parser: 请求头的cookie管理

    • debug: 调试工具

    • morgan: 日志中间件

    • serve-favicon: favicon中间件

  • async: https://github.com/caolan/async,异步框架

  • cheerio: https://github.com/cheeriojs/cheerio,加载html元素,并可使用jQuery进行操作

  • browser-sync: http://browsersync.io浏览器数据同步框架

  • gulp: http://gulpjs.com构建工具

    • gulp-mocha: 运行mocha测试

    • gulp-nodemon: gulp的nodemon工具,用于监控 node文件变化

  • highcharts: http://www.highcharts.com,图表控件

  • jade: http://jade-lang.com/模板引擎

  • moment: http://momentjs.com,轻量级的时间转换库

  • mongoose: http://mongoosejs.com/,mongo的对象模型工具

  • node-schedule: https://github.com/node-schedule/node-schedule,Node的任务调度

  • should: https://github.com/shouldjs/should.js, 断言库

  • superagent: http://visionmedia.github.io/superagent/,模拟客户端HTTP请求

  • supertest: https://github.com/visionmedia/supertest, 将superagent-HTTP测试简单化

  • sleep: https://github.com/erikdubbelboer/node-sleep, 添加sleep等待时间

  • bootstrap: http://getbootstrap.com/,前端样式处理

  • bootstrap-table: 基于http://getbootstrap.com/的Table处理http://bootstrap-table.wenzhixin.net.cn/

  • bootstrap-select: 基于http://getbootstrap.com/的select处理https://silviomoreto.github.io/bootstrap-select/

• 变更记录

  • history