深度截图20171125154041.png
0.获得所有商品分类
- ebay API:
Trading.GetCategories - 预先调用
Trading.GetCategories, 获取 ebay 下36927个末级商品分类
1-2.获得单个分类下的所有商品
- ebay API:
Finding.FindItemsByCategory - 将上一步获得的商品分类
category_id作为请求参数调用Finding.FindItemsByCategory获得分类商品下的所有商品item_id - 获取到的
item_id将存入 redis 做为下一步的队列 - 受接口限制每个分类只能获取前 100 页内容, 即 2 万条商品数据
3-5.获得单个商品下的详细数据
- ebay API:
Trading.GetItem - 将上一步获得的商品
item_id做为请求参数调用Trading.GetItem获得商品下的详细数据 - 获取到的大量商品数据将会临时存放在 MongoDB
6-7.数据二次处理/调用
- 对 MongoDB 下的商品数据进行数据清洗,最终写入 Mysql, 只留下关键数据, 查询速度快
- 利用商品销量与上架日期筛选出新品与热销商品
- ERP 产品开发模块对数据进行调用
网友评论