摘要：论文主要在讨论如何开发一种用于批量更新的嵌套聚合查询的技术，实现增量更新，即，为复杂的SQL查询提供低延时的增量计算框架。同时证明了这种技术在分布式环境下效率更好，而本地环境下，单元组一次一更新的效果更好。
一、工作介绍：
- 提出了用于批量更新的对嵌套聚合查询的递归式的增量化处理技术；
- 权衡了单元组（single-tuple)处理和批量增量化处理的开销；
- 在分布式环境中，针对程序中维护增量化视图的代码，描述了一个新的编译方法；
- 提出了在维护增量化视图的程序中专业化代码和数据结构的技术。
二、递归增量视图维护程序：
- 域提取（Domain extraction）：限制差值评估的区域，只评估在给定的输入变化 ∆中 受了影响的元组。可以有效地计算嵌套聚合和存在量词的查询。
域表达式（Domain extraction）绑定了一组变量，为了加速下游查询的评估 -
定义：实现了真正的初始查询∆Q(D, ∆D)，以及一系列的辅助视图来支持彼此实现增量化，也就是说，在嵌套查询中，会从顶级视图M，不断地调用同一个程序，来实现对下一层视图M1,M2,M3,......等视图的聚合操作，直到底层基本表R、S和T，以尽量实现高效率的查询。如下：
递归视图操作
三、批量差值处理（BATCHED DELTA PROCESSING）：
- 数据模型：论文中把视图看做广义多重关系，每一个关系（relation）包括有限个unique的元组（tuple）。传统SQL会把查询出来的聚合函数值作为查询结果的单独一列，而论文中的做法是把聚合函数值存在定义的多元化关系中，以方便增量化处理。
-
查询语言：论文中用代数公式来定义广义多重关系上的查询，例如用论文中的查询语言定义某个嵌套查询：
3.批量更新中的增量评估：使用小规模的增量关系来替代大的基础关系表。
3.2.2 域提取：
可以这么理解增量处理中的域提取：① 数据库发生了改变∆R（A,B），则此时的查询不可只使用历史数据；② 列A发生了变化且查询的内容与列A有关；③ 限制递归增量处理的作用域，只在∆Q里那些列A受了∆R（A,B）影响的元组中进行操作
（1）引入糖衣语法Exists（Q）来表示某些语句；
（2）用 ∆Q := Exists(Qn + ∆Qn)− Exists(Qn)来表示增量；
（3）用[Qdom := Exists(Sum_(Exists(∆R(A;B))))表示作用域；
四、分布式的视图维护
展示了作者团队的编译器，把为本地执行而生成的维护触发器转换为在可同步执行的大规模处理平台（如Spark或Hadoop）上运行的维护程序。
-
编译总览：
① 使用分区信息对给定的输入程序进行注释，并在必要时引入操作符，以便在分布式节点之间交换数据，以保持查询评估的正确性。
② 使用一组简化规则和启发式方法优化带注释的程序，目的是最小化处理一个更新批处理所需的工作数量。
③ 为特定的处理平台生成可执行代码。只有代码生成阶段依赖于目标平台。
2.Well-formed Distributed Programs
分布式视图不同于本地视图，各类操作需要考虑到许多其他的问题，比如，两个分布式视图之间的自然连接只有在视图在连接(common)键上相同地分区时才会产生正确的结果，因此作者扩展了原本的查询语言，构造了有位置意识的格式良好的查询表达式。
（1）位置标签：Local、Dist（ρ）、Random
（2）Location Transformers：Repart & Scatter & Gather，是结点之间交换数据的唯一机制；
（3）Distributed Query Operators
网友评论