大数据架构

大数据技术栈

大数据技术图.png

大数据分析：
ODPS（Open Data Processing System）是阿里巴巴云计算平台，收费项目。

数据可视化：
D3，ECharts

大数据管理：
Hue，Cloudera（即CDH），Ambari

Eagle:
高实时，可伸缩，简单等

Esper:
是一款事件和事件流引擎，可监测事件流，并触发事件。

Hama:
矩阵计算和面向图计算模型

机器学习算法：

1.回归算法
OLS,LR,SR,MARS,LESS

2.基于实例的算法：
KNN，LVQ，SOM

3.正则算法：
RR,LASSO,EN

4.决策树算法：
CART,ID3,C4.5,CHAID,随机森林,MARS,GBM

5.贝叶斯算法
拓普素贝叶斯算法，AODE,BBN

6.基于核的算法
SVM,RBF,LDA

7.聚类算法
K-Means，EM

8.管理规则学习
Apriori，Eclat

9.人工神经网络算法
PNN,BP,Hopfield网路，SOM,LVQ

10.深度学习
RBN,DBN,CN,SA

11.降维算法
PCA，PLSR，Sammon,MDS,PP

12.集成算法
Boosting,BA,AdaBoost,堆叠泛化，GBM,Random Forest等

深度学习：

1.深度学习框架：
TensorFlow，Caffe，Theano，Torch，Deeplearning4j，Marvin，ConvNetJS，MXNet等。

资源调度

1.YARN

2.Borg 集群管理工具，负责job的接受，调试，启动，停止，重启和监控。

3.Mesos 资源分配算法，DRF算法，

数据组织工具

1.Cube

2.Kylin

3.ORCFile

4.Parquet

5.Taychon缓存技术