自从Oracle在2017年的OpenWorld中宣布其下一代Oracle数据库将是全球首个“self-driving”的数据库开始，似乎机器学习与数据库的关系才进入了大众视野，而深度学习更是因为在其他领域的频频露脸而强行被绑定在智能数据库的研究上。
本文主要来梳理一下数据库在过去的几十年中往“self-driving”这个目标所经历的几个阶段。
自适应数据库（1970s-1990s）
自1970年起，采用DBMS来降低开发人员的数据管理成本就是各种关系型模型或者声明式语言的宣传口号。在这个思路指导下，开发人员只需要根据所需要的数据编写特定的查询语句即可，而数据库内部选择何种算法如何执行该语句，以及数据库内对数据的存储方式均对开发人员透明。数据库自身来管理数据被访问的方式。
与此同时，组织理想地希望一个DBMS为他们的应用程序选择一个全局策略，处理管理和优化数据库的全部。在1970年代，这种叫做自适应数据库（self-adaptive）。从理论层面来讲，这些系统运行的方式与现在的工具运行的本质是相同的，系统首先要收集应用读取数据时的性能指标，然后基于代价模型来寻找一个最优策略来提升访问性能。
然而，早期的自适应数据库更侧重于物理数据看的设计，尤其是索引选择方面。例如，Michael Hammer教授的《Index Selection in A Self-Adaptive Data Base Management System》论文。同时，IBM、Berkeley、CMU等机构也都在对这方面进行研究，这个研究方向一直持续到了80年代，以IBM的DBDSGN为代表。
除了索引选择这个研究方向，另外一个被广泛研究的问题是数据库分区问题。这时期的代表论文有《A Heuristic Approach to Attribute Partitioning》。直到90年代，数据库自动分区和数据切分方法在分布式数据库系统中变得比较普遍。Dewitter和IBM在这个领域也有代表论文。
自调优数据库（1990s-2000s）
在90年代和2000年代又掀起了一波自调优数据库的研究热潮。其中以微软的AutoAdmin最具代表性，该工具帮助DBA根据workload选择优化索引、物化视图和分区表。而AutoAdmin最主要的贡献在于What-if API的发展。在它的帮助下，调优工具为潜在的设计决策(例如，添加一个索引)创建虚拟目录条目，然后使用查询优化器的代价模型来确定该决策的好处。这使得工具可以使用DBMS现有的代价模型来估算任意的索引组合，以获得更好的索引策略。
在2000年代，自动化参数配置也有了初步研究。这些参数主要是允许DBA来控制DBMS运行时的状态，例如BufferPool的大小。与物理设计工具的区别在于，参数配置工具无法利用内置的代价模型。这类工具是对执行特定查询的工作量进行估计，并在同一个环境下比较不同查询执行策略。
不同公司都有自己的调优工具，例如DB2的Performance Wizard与自调优内存工具，Oracle的性能瓶颈识别器和SQL analyzer tool 以及微软的SQL Server。
然而上述工具依然需要一个手工过程：DBA提供一个workload的采样，然后工具给出一些提升性能的建议，再由DBA决定是否应用这些优化建议。由于这类优化建议需要专家经验，DB2提供了两个自动化控件LEarning Optimizer (LEO) 和 Self-Adaptive Set of Histograms (SASH)。它们的设计思想是：首先，DBMS的代价模型根据统计信息选择查询计划并作出估计。然后，系统执行这条查询并基于真实数据检查这些估计指标是否符合预期。若不符合预期，系统将提供一个反馈建议给代价模型。尽管这个设计思想非常的正确并且看起来很屌，事实上DB2的DBA通常都是不使用这个功能，估计是实际效果并不理想。
云数据库（2010s早期）
随着云计算的崛起，在云平台的规模与复杂性条件下，自治系统变得尤为重要。所有的云服务商均提供定制化工具来控制部署。Azure利用内部遥测数据对DBMS容器资源使用情况进行建模，并自动调整分配以满足QoS和预算约束。
云平台上还提供黑盒的编排工具，便于修改集群中的机器数目。
理论上讲，云平台上有着无限的计算资源和存储资源，DBMS可以任意的扩容或者缩容。未来DBMS的设计可能会侧重于共享磁盘的架构设计。云提供商将处于这一领域的最前沿，因为他们控制了整个堆栈。这意味着它们可以将DBMS特定的逻辑推入到网络层中，并在存储层中向下运行，从而使那些简单地在其平台内部运行的供应商无法做到这一点。
自动驾驶的数据库（2010s晚期）
自动驾驶是一个非常热门的研究领域。与此同时，这个词也被用于各个领域。在数据库领域的自动驾驶需要满足以下几个条件：
具备自动选择操作以提升某个目标（如吞吐量、延迟等）的能力，包括使用多少资源以应用这个操作。
具备自动决定何时应用这个操作的能力。
具备自动学习该操作的反馈并优化决策过程的能力。
这里的操作主要是包括如下三类：
修改数据库的物理设计（例如，增加或者删除索引）
修改DBMS的控制参数（例如，调整BufferPool大小）
修改DBMS的物理资源（例如，增加或者删除集群中的机器）
对于第一个条件，已经有一些研究工作来解决这个问题，然而很少有尝试解决第二个问题的研究。因为系统必须根据workload来决定这些操作在何时被执行，而系统需要预测在未来时间中workload的特点。
在一个动态变化的场景中预测workload是非常困难的事情。因为workload可能会随着时间、日期、月份而变化，而查询的资源使用情况又与数据库的物理设计密切相关。在这方面的研究较少，目前只有CMU2018年发布的论文《Query-based Workload Forecasting for Self-Driving Database Management Systems》。
从前面介绍的几个阶段来看，数据库智能一直都在探索“自动驾驶”这个领域，受限于技术的发展，前期的数据库智能还停留在自动化阶段，而部分自优化的功能在实际应用的效果也不尽如人意。现在借助深度神经网络的能力，能否真正实现智能数据库，达到“自动驾驶”呢？一起拭目以待吧。
网友评论