以这样一个sql 为例
String sql = "select u.id as user_id, u.name as user_name, j.company as user_company, u.age as user_age" +
" from users u join jobs j on u.name=j.name" +
" where u.age > 30 and j.id>10" +
" order by user_id";
对于这样一个sql 的到rel的过程:
/**
* Converts a SELECT statement's parse tree into a relational expression.
*/
public RelNode convertSelect(SqlSelect select, boolean top) {
// 这个可以参考在validate 的过程中 放到whereScope 这个map 里面
final SqlValidatorScope selectScope = validator.getWhereScope(select);
final Blackboard bb = createBlackboard(selectScope, null, top);
convertSelectImpl(bb, select);
return bb.root;
}
对于selectScope 中我们可以通过debug 看到里面的具体内容
由于这是最外层的SqlNode ,可以看到他的parent 是CatalogScope
而他的两个children,是两个ScopeChild类, 也就是我们一开始注册进去的两个表U 和 J
在U 和 J 里面有具体的两个表所在的IdentifierNamespace,这个namespace的id 是一个SqlIdentifier 类,具体指向USERS 和JOBS
image.png
对于其中一个表的IdentifierNamespace可以具体展开看里面,他有一个属性叫resolvedNamespace ,这个namespace就是具体的一个tableNamespace,会有一个指向这个table 的引用:
对table 的描述会有rowType:也就描述了一条记录的形式,即一个表的每一列的列名以及列的属性。
image.png
而具体的转换的方法就是convertSelectImpl(bb,select) ,这个方法的输入是我们创建的blackboard 和sqlSelect , blackboard 的创建基于selectScope ,这里可以推测出一个blackboard 就是基于一个scope。
到了具体的convert 方法我们可以看到里面就是按照一个顺序去依次把sqlNode convert 成一个rel(relNode 或者rexNode,rexCall)
(省去中间的某些sql 涉及不到的细节,可能需要某些特定的sql 才会触发)
- convertFrom
- convertWhere
- 如果是agg--> convertAgg,否则convertSelectList
- convertOrder
具体以convertFrom 来看一个具体的执行细节
这个例子中from 其实相对而言较为复杂,因为from 的对象并不是一个简单的SqlIdentifier去指向一个具体的表,而是在有一层join ,如果是一个join ,遵从上面提到的一个过程去做递归,分别对他的左侧和右侧,获取join的scope ,创建一个blackboard作为背景板,在背景板内去递归的再次进行一个convert,具体的代码如下
case JOIN:
final SqlJoin join = (SqlJoin) from;
final SqlValidatorScope scope = validator.getJoinScope(from);
// 具体递归的时候的这这个joinscope 和 fromBlackboard 没有用上, 是给下面joinExp 和joinRel 去使用
final Blackboard fromBlackboard = createBlackboard(scope, null, false);
// 分别获取left 和right ,利用leftScope 创建leftBlackBoard ,基于此去递归convertFrom,由于convertFrom 方法是递归调用。就会再次进来, 下次Left进来就不在是一个join
SqlNode left = join.getLeft();
SqlNode right = join.getRight();
final boolean isNatural = join.isNatural();
final JoinType joinType = join.getJoinType();
final SqlValidatorScope leftScope =
Util.first(validator.getJoinScope(left),
((DelegatingScope) bb.scope).getParent());
final Blackboard leftBlackboard =
createBlackboard(leftScope, null, false);
final SqlValidatorScope rightScope =
Util.first(validator.getJoinScope(right),
((DelegatingScope) bb.scope).getParent());
final Blackboard rightBlackboard =
createBlackboard(rightScope, null, false);
convertFrom(leftBlackboard, left);
RelNode leftRel = leftBlackboard.root;
convertFrom(rightBlackboard, right);
RelNode rightRel = rightBlackboard.root;
JoinRelType convertedJoinType = convertJoinType(joinType);
RexNode conditionExp;
final SqlValidatorNamespace leftNamespace = validator.getNamespace(left);
final SqlValidatorNamespace rightNamespace = validator.getNamespace(right);
**** 针对natural 有一些处理 后续看 非natural 需要convertJoinCondition
创建 一个 RelNode joinRel =
createJoin
****
对于left 进来以后具体根据当前sql 就是一个“users u”, 这个时候就是一个简单的identifier 。在validate 的过程中可以发现,users u 会自动给他补全成users as u , 这个时候进来就是一个 as 的sqlCall ,
case AS:
call = (SqlCall) from;
convertFrom(bb, call.operand(0)); //对users as u ,取出操作符左侧的users,这就是一开始注册的表,对这个表递归convertFrom
if (call.operandCount() > 2
&& (bb.root instanceof Values || bb.root instanceof Uncollect)) {
final List<String> fieldNames = new ArrayList<>();
for (SqlNode node : Util.skip(call.getOperandList(), 2)) {
fieldNames.add(((SqlIdentifier) node).getSimple());
}
bb.setRoot(relBuilder.push(bb.root).rename(fieldNames).build(), true);
}
return;
到了具体一个USERS 这个表以后,他就是一个很小的Identifier 直接调用
convertIdentifier(bb, (SqlIdentifier) from, null, null);
直接通过validater 获取到table ,获取到这个table以后toRel
RelOptTable table = //这个过程在具体的参见Validator 去创建一个PrepareTable ,是新建出来的,可以具体看看源码
SqlValidatorUtil.getRelOptTable(fromNamespace, catalogReader,
datasetName, usedDataset);
****
tableRel = toRel(table, hints);
toRel 的方法输入直接是RelOptTable,
toRel 有两个方法重载, 在toRel(table,hints) 里面第一行还有一个调用
直接调用的是这个, final RelNode rel = table.toRel(createToRelContext(hints));在这一行语句里面会直接创建第一rel :EnumerableTableScan .
后面会根据hasVirtualFields 有一些具体的处理,不细看,暂时不知道virtual 什么含义。至此我们获得了一个rel:scan.
后面对于convertSelectList
统一调用这个 rexBuilder.makeInputRef(root, ref);
在这个table 里面因为table 里面有多列,遍历table的所有的列,将每一个列,都变成一个引用,因为我们发现在debug 过程中会多次看到 1 也就是一个RexInputRef ,是在这个过程中遍历的时候直接创建的对象。传入了这个列在这个表中的一个index。
网友评论