DatistEQ之访问数据中台

作者: 了无_数据科学 | 来源:发表于2020-06-26 11:10 被阅读0次

经过几天的奋战,数据中台节点终于尘埃落定,权限认证、多线程跨页数据获取、查询构造器等一系列功能均已实现。什么是数据中台,为什么要数据中台呢?数据专家中的数据中台节点又是如何运行的呢?

一、为什么要数据中台

一直以来,在传统企业中,数据建设不那么起眼,也不那么受关注,把数据模型做好,把数据充填进去就行了。这是一种典型的静态建设思路。这种方式,太过依赖于顶层设计,时代在变,技术在变,企业里新的数据新的需求不断涌现,数据库的模型也得跟着;其次是数据模型不敢变,上面挂接太多应用,变了诸多系统就不灵了;最关键是数据建设是幕后工作,走不到台前,不被观注,出不了成果,要不来投资。因而,造就了企业级数据建设,以不变应万变的差不多先生的局面,直至有一天,天塌下来,推倒重来了。

数据中台的意义就在于以新应新、以变应变,以动态的思路开展数据建设工作。它介于数据库与应用系统之间,可以将数据中台,理解为企业级的数据应用标准与规范,应用时只需关注数据,而不必关心其来源,其主要作用有三点:

  1. 数据与应用的中介。数据中台是数据库与应用之间的中间人,起中介作用,话事人的作用。中台旨在减少数据与应用之间的耦合度,让两大体系不致于因步子跨太大而扯到裆。

  2. 企业的数据外交官。多源头的数据之间存在差异,应用者的数据理解有差异,使得数据口径不一致。设计阶段数据与实施阶段的不一致,实施阶段与生产阶段的不一致等。通过中台,统一对外数据规范与口径。

  3. 划清工作界面。可以将数据中台理解为数据库的微服务化,它是一个与具体数据库无关的服务。应用系统建设者,不必操心数据存放位置、数据的权限,将精力集中于应用功能开发中,无形中减少了项目的运行成本,为企业节省开支。

二、数据中台节点

数据中台节点提供一个访问数据专家数据中台系统的入口,通过可视化的方式,将数据中台系统中的数据引入数据流程中。其主要功能有三个:

  1. API列表,以列表方式展现了数据中台中的可用数据服务。
  2. 权限认证,提供数据访问权限认证功能。
  3. 查询条件构造器,用可视化的方式构造一个访问数据中台的URL地址。
数据中台

数据中台从应用的角度来讲,就是一个数据服务地址,数据中台节点的所有功能就是为了构造这个URL地址。URL是一种特殊的字符串,它通过一定的规则,将数据查询的关键字与值组合而形成查询条件。 除了查询条件构造器来构造数据访问语句之外,我们也可以依据规范手工编写查询语句。

数据查询规范如下:

1. 大于等于 
格式:>{Field}={Value}
示例:/rockstars?>day=24

2. 大于
格式:{Field}>={Value}
示例:/rockstars?day>=24

3. 小于
格式:<{Field}={Value}
示例:/rockstars?<day=24

4. 小于等于
格式:{Field}<={Value}
示例:/rockstars?day<=24

5. 集合枚举
格式:{Field}In={Value1},{Value2},{Value3}...
示例:/rockstars?dayIn=23,25

6. 界于之间
格式:{Field}Between={Value1},{Value2}
示例:/rockstars?dayBetween=23,25

7.  以...开始
格式:{Field}StartsWith={Value}
示例:/rockstars?dayStartsWith=2

8. 以...结束
格式:{Field}EndsWith={Value}
示例:/rockstars?dayEndsWith=2

9. 包含字符
格式:{Field}Contains={Value}
示例:/rockstars?dayContains=2

企业级的数据建设,涉及面广,体系庞杂,貌似高不可攀,其实近在咫尺。建设者的思路决定建设思念,思维差异决定了系统走向。两种建设思路的较量,没有对与错之分,只有与企业现状的吻合度的差异。以不变应万变一劳永逸,是理想,是梦想。而以变应变则是现实,是人生常态。

相关文章

  • DatistEQ之访问数据中台

    经过几天的奋战,数据中台节点终于尘埃落定,权限认证、多线程跨页数据获取、查询构造器等一系列功能均已实现。什么是数据...

  • DatistEQ之智能解析的三种取值方式

    在文章《DatistEQ之批量抽取仪器状态数据》[https://www.jianshu.com/p/028248...

  • DatistEQ之拆分仪器状态数据

    在前文《DatistEQ之批量抽取仪器状态数据[https://www.jianshu.com/p/028248e...

  • DatistEQ之台站观测数据预处理

    台站观测各个方向上观察数据,每分钟记录一个数据,一天产生24*60 = 1440个数据点,数据库每天存一条数据记录...

  • DatistEQ之数据流

    何为数据流、什么是文件流呢?一个非常基本命题,始终没有一个明确的概念。 一、数据流 数据流(data stream...

  • 数据中台之元数据

    作为大数据的测试人员,对大数据的一些基本知识需要进行深入学习一下,最近在学习极客时间的<数据中台实践课>的一些感受...

  • 2019-11-11

    中台 访问数量200亿次,数据量 35PB 购买数量增长180. 93%

  • Day 2072:学习

    数据中台 数据服务打通了数据和应用的访问链路,建立了从数据应用到数据中台数据的全链路数据血缘关系,这就等于我们在迷...

  • Spring Boot数据访问书目录

    Spring Boot数据访问 Spring Boot数据访问之使用JdbcTemplate Spring Boo...

  • DatistEQ之网页数据收集

    网页抓取(又称为网络数据提取、网页爬取)是一种从网页上获取页面内容的计算机软件技术。它是一种数据复制过程,其中从网...

网友评论

    本文标题:DatistEQ之访问数据中台

    本文链接:https://www.haomeiwen.com/subject/tzuyfktx.html