美文网首页
数仓的发展与特性

数仓的发展与特性

作者: 升空的焰火 | 来源:发表于2018-12-18 19:38 被阅读0次

一.何为数仓?

也就是集成化数据环境,控制数据的流入与流出,本身并不产生和消费数据。

二.数仓的作用?

1、管理数据,支持服务调用,为企业提供决策支持。

2、基本架构图

三.数仓的数据流程

1.数据源

也就是我们的业务产生的数据。一般来源于日志,IOT(前端设备),或者其他的系统。

2.数据集成

其实也就是数据收集的过程。大部分web业务的数据收集以API接口和消息队列为主,这个过程应该是业务开发控制。

3.数据存储

1.不涉及大数据,一般用关系型数据库mysql,oracle,存储。

2.大数据环境下。Hbase大数据行数据库,Storm流式处理框架,Flink,Spark大数据系统框架.。

4.数据清洗

1..informatica(规则管理平台,华为目前在使用),一种第三方的数据规则管理工具,可以根据配置的规则对数据进行筛选。

2.利用算法进行筛选。

5.数据建模

1.数仓模型建模,也就是我们常常聊得业务模型建模

2 AI算法建模,基于统计学,概率论等,设计需要的数据模型,并进行自学习管理。(1,监督学  2 ,半监督学  3 ,无监督学)

6.数据服务

使用数据,发挥数据价值。

四.数仓建立的两种模式

1.kimball模式,自下而上,定制甲方业务,先有业务模型,再有数仓模型。

2.Inmon模式,自下而上,根据模块功能,建立数仓模型,再决定业务模型。

一般的互联网公司还是以服务甲方为主,而大企业公司就会选择Inmon模型,研发自己的产品。

五.数据中台。

1.一个对数据直接处理的平台。所有对数仓的直接操作,全部由数据中台处理。

相关文章

  • 数仓的发展与特性

    一.何为数仓? 也就是集成化数据环境,控制数据的流入与流出,本身并不产生和消费数据。 二.数仓的作用? 1、管理数...

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

  • 数仓建模—指标体系

    数据仓库系列文章 数仓架构发展史[https://www.ikeguang.com/?p=1582] 数仓建模方法...

  • 基于 Impala 的高性能数仓建设实践之虚拟数仓

    导读: 本文主要介绍网易数帆 NDH 在 Impala 上实现的虚拟数仓特性,包括资源分组、水平扩展、混合分组和分...

  • 数仓--Hive--面试题准备

    数仓--Hive-面试之Hive与HBase的区别数仓--Hive-面试之Hive架构原理数仓--Hive-面试之...

  • 说说数仓(2) - 传统数仓与互联网数仓

    刚看到几篇文章,写得非常好,感觉是最近看到关于数仓关于数据平台最好的文章了,这里简单总结下自己觉得好的地方。原文链...

  • 数据仓库(02)数仓、大数据与传统数据库的区别

      数据仓库(数仓)与大数据区别,数据仓库(数仓)与数据库的区别,大数据与传统数据库的区别等等,这篇文章带你了解。...

  • 数仓架构发展史

    公众号:大数据技术派 发展史 时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是...

  • 数仓建设规范

    本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段...

  • 美团实时数仓建设

    实时数仓和传统数仓的对比 实时数仓和传统数仓的对比主要可以从四个方面考虑:●第一个是分层方式,离线数仓为了考虑到效...

网友评论

      本文标题:数仓的发展与特性

      本文链接:https://www.haomeiwen.com/subject/xoalkqtx.html