数据清洗——工作日志记录

2019-06-13 今天是到新公司工作的第二周的周四
今天要做客户端数据清洗，涉及到node、Elasticsearch等
一直以来前端数据报错信息有收集处理，但客户端没有，现在要做的是为了“大一统”，让安卓、ios、h5前端归到“大前端”架构下。于是出现了我接下去要做的工作任务。
数据链路已经明确，接下去我要用最短的时间掌握相关技能栈。

预备知识

首先我决定从熟悉项目结构开始，早上在同事的指导下已经了解这部分。接下去，自己去熟悉下Elasticsearch。

Elasticsearch

简称ES，这是一个搜索引擎库。
这是一个基于Apache Lucene(TM)的开源搜索引擎。

它可以快速地储存、搜索和分析海量数据!!!

安装 Redis

本地从ES导入数据需要开启Redis，还没搞懂，回头补充

项目运行

1、先启动es

elasticsearch

2、启动redis

redis-server

3、ES 导入数据：

node jobs/Mockdata.js -t —android

4、执行命令，将Es中数据处理插入数据库

Node jobs/ImportAndroidDataJob.js -t —android