曾几何时“大数据”这个词飞进了寻常百姓家，随着电脑信息化的普及，企业里的数据处理愈发显得重要。很多企业做研发的时候，都喜欢将大数据列入到企业的研发计划当中。于是乎，hadoop、spark等等大数据常用的工具都会被罗列出来。
这些工具确实是大数据的利器，但在一些中小企业里真的用得上吗？大家都知道集群是个好东西，就拿Oracle RAC来说，单节点的Oracle计算能力是比两个节点RAC跑得快的，为啥？可以想象一下，集群呢, 是单台机器计算能力无法满足的情况下，不得已的产物。网络的开销，磁盘的开销......种种IO，肯定会将系统的处理性能下降至.....当然了，这是针对单机性能对比的。打个比方，单机呢，就好比武林大侠，而集群呢就好比千军万马，武功再高的大侠也敌不过千军万马的。
以上说了这么多，要说的就是，很多中小企业，其实根本不需要这种千军万马的，而建一个武林大侠就好。一般来说，企业都会使用Mysql来创建存储，但是Mysql仅仅适合用来所存储。作数据计算等，Mysql并不是特别合适。一般来说，用作数据计算的数据库有Oracle和Postgresql两种，前者大名鼎鼎，但是是收费的，中小企业使用，并不合适。而后者，则是号称开源界的Oracle，其计算性能也是十分的强悍。我们可以使用Mysql进行存储，然后将Postgresql进行逻辑划分为dw、ods、sdw三层。dw为数仓，用户数据存储。ods为计算层，为临时计算的地方，sdw为计算结果存储的地方。dw可以使用fdw外部表的模式和mysql进行数据交互，ods层采用调度触发存储过程进行计算，计算后的结果推送至sdw展现层。
整个过程是不是很小巧。云蛛系统的DataCenter就是这样的模块化，会依据用户实际的情况采用不同的模块进行组装，适用就好。当然其中也不乏Hadoop这些大数据的组件，只不过这些是数据量达到一定级别才能使用的组件，作为数据量不大的企业，选择好适用的数据库即可搞定。而数据展现则可以完全交给，DataView和AutoBI进行，DataView是大屏展示类的解决方案，而AutoBI 是数据报表类工具，这些组合在一起，就可以提供给中小企业一整套的解决方案，而在云蛛系统来说，只有合适的才是最好的！
网友评论