美文网首页
BigQuery中的半结构数据和查询

BigQuery中的半结构数据和查询

作者: Houtasu | 来源:发表于2021-02-09 18:27 被阅读0次

BigQuery本身是一个半结构化的数据库,至于半结构化这个东西,简单理解就是mysql中的一列变成了一个json。
就向下面这张图一样,图里只有两行数据,但是每行中又由相同的行构成。


它的结构也是提前定好的,是不能插入不存在的字段的,但repeated字段是可以重复的。
所以可以看到命令的参数名称实际是作为event_params.key这个字段中的值存在的,
而这个参数本身的值是event_params.value中的四个列
[string_value,int_value,float_value,double_value]中的某一个值。
因此,你可以无限添加命令字而无需修改表结构。
半结构化的表比结构化的更灵活,而又因为是有结构的, 所以可以用sql高效的来查询。
它的好处是可以在一张表里存不同的结构,
比如典型的命令表,每个命令的参数个数和类型都是不一样的,
然而uid,server这些又是相同的。
repeated就可以让他们存在一张表里,而不是每个命令都建一张表。
缺点是涉及到动态repeated字段的查询很麻烦,需要用到unnest去解开。

待续。。。

相关文章

  • BigQuery中的半结构数据和查询

    BigQuery本身是一个半结构化的数据库,至于半结构化这个东西,简单理解就是mysql中的一列变成了一个json...

  • BigQuery在WebUI中使用自定义变量

    Google的bigquery是一个强大的云数据库,支半结构化数据,TB级单表的查询,自动扩充什么的,反正就是很N...

  • BigQuery中拆解字符串并平展为多行

    我在介绍bigquery的半结构化数据中介绍过我们总表的结构,但是有些命令的参数个数是不固定的,比如玩家在一次战斗...

  • 数据分析2-SQL入门

    SQL是结构化查询语言,在数据分析工作中,可用于提取数据和查询数据。 1.预备知识 1.1什么是SQL 结构化查询...

  • 网络数据查询

    包括结构化,半结构化数据查询及优化,以及大数据相关。

  • redis

    一、redis简介 DBMS:高度组织化结构数据、采用结构化的查询SQL语言、数据和关系都存在单独的表中。有严格的...

  • 数据分类

    应用程序数据:结构化、半结构化和非结构化数据结构化数据:结构化数据通常存储在具有行和列的数据库表中,其中键列指示表...

  • 关于表中重复数据的处理--MySQL

    表结构及数据如下 一. 根据字段查询表中重复的数据1.根据字段test1,test2,查询表中重复的数据 2.根据...

  • django 实现树形结构两种方式

    树形结构类似于数据结构中的二叉树,如果树形结构比较复杂的话,通过递归的方式查询并不是那么简介,多次 访问数据库查询...

  • 大数据之数据采集方法

    引言 数据源的分类,大体可以分为三类:结构化数据,半结构化数据,非结构化数据 开始 我仅对我工作中接触的数据和使用...

网友评论

      本文标题:BigQuery中的半结构数据和查询

      本文链接:https://www.haomeiwen.com/subject/cyqdzktx.html