gitbook 搜索引擎

• 由用户提交gitBook用户个人主页,以gitbook用户主页为入口,爬取用户名下所有Book的信息并保存;
• 提供rest服务用于book提交和搜索服务;
• 接收图书不可用反馈;
• 提供图书评级服务;
• 所有用户id作为基础数据做好冗余备份,以备搜索数据初始化恢复

架构

1. Puppeteer:google headless chrome Node.js 库,提供网页解析,用户爬虫和测试
2. Sonic:开源搜索索引服务器，用Rust编写。Elasticsearch替代方案,使用Node.js操作
3. TiDB:Rust开发的NewSQL数据库,兼容MySQL协议
4. Taro/Gatsby.js:交互式页面框架