美文网首页
sqlNode->relNode(SqlSelect)

sqlNode->relNode(SqlSelect)

作者: grasslike | 来源:发表于2022-01-02 00:03 被阅读0次

    以这样一个sql 为例

    String sql = "select u.id as user_id, u.name as user_name, j.company as user_company, u.age as user_age" +
                    " from users u join jobs j on u.name=j.name" +
                    " where u.age > 30 and j.id>10" +
                    " order by user_id";
    

    对于这样一个sql 的到rel的过程:

      /**
       * Converts a SELECT statement's parse tree into a relational expression.
       */
      public RelNode convertSelect(SqlSelect select, boolean top) {
    // 这个可以参考在validate 的过程中 放到whereScope 这个map 里面
        final SqlValidatorScope selectScope = validator.getWhereScope(select); 
        final Blackboard bb = createBlackboard(selectScope, null, top);
        convertSelectImpl(bb, select);
        return bb.root;
      }
    

    对于selectScope 中我们可以通过debug 看到里面的具体内容
    由于这是最外层的SqlNode ,可以看到他的parent 是CatalogScope
    而他的两个children,是两个ScopeChild类, 也就是我们一开始注册进去的两个表U 和 J
    在U 和 J 里面有具体的两个表所在的IdentifierNamespace,这个namespace的id 是一个SqlIdentifier 类,具体指向USERS 和JOBS


    image.png

    对于其中一个表的IdentifierNamespace可以具体展开看里面,他有一个属性叫resolvedNamespace ,这个namespace就是具体的一个tableNamespace,会有一个指向这个table 的引用:
    对table 的描述会有rowType:也就描述了一条记录的形式,即一个表的每一列的列名以及列的属性。


    image.png

    而具体的转换的方法就是convertSelectImpl(bb,select) ,这个方法的输入是我们创建的blackboard 和sqlSelect , blackboard 的创建基于selectScope ,这里可以推测出一个blackboard 就是基于一个scope。
    到了具体的convert 方法我们可以看到里面就是按照一个顺序去依次把sqlNode convert 成一个rel(relNode 或者rexNode,rexCall)
    (省去中间的某些sql 涉及不到的细节,可能需要某些特定的sql 才会触发)

    1. convertFrom
    2. convertWhere
    3. 如果是agg--> convertAgg,否则convertSelectList
    4. convertOrder

    具体以convertFrom 来看一个具体的执行细节
    这个例子中from 其实相对而言较为复杂,因为from 的对象并不是一个简单的SqlIdentifier去指向一个具体的表,而是在有一层join ,如果是一个join ,遵从上面提到的一个过程去做递归,分别对他的左侧和右侧,获取join的scope ,创建一个blackboard作为背景板,在背景板内去递归的再次进行一个convert,具体的代码如下

    case JOIN:
          final SqlJoin join = (SqlJoin) from;
          final SqlValidatorScope scope = validator.getJoinScope(from);
          // 具体递归的时候的这这个joinscope 和 fromBlackboard 没有用上, 是给下面joinExp 和joinRel 去使用
          final Blackboard fromBlackboard = createBlackboard(scope, null, false);
    // 分别获取left 和right ,利用leftScope 创建leftBlackBoard ,基于此去递归convertFrom,由于convertFrom 方法是递归调用。就会再次进来, 下次Left进来就不在是一个join 
          SqlNode left = join.getLeft(); 
          SqlNode right = join.getRight();
          final boolean isNatural = join.isNatural();
          final JoinType joinType = join.getJoinType();
          final SqlValidatorScope leftScope =
              Util.first(validator.getJoinScope(left),
                  ((DelegatingScope) bb.scope).getParent());
          final Blackboard leftBlackboard =
              createBlackboard(leftScope, null, false);
          final SqlValidatorScope rightScope =
              Util.first(validator.getJoinScope(right),
                  ((DelegatingScope) bb.scope).getParent());
          final Blackboard rightBlackboard =
              createBlackboard(rightScope, null, false);
          convertFrom(leftBlackboard, left);
          RelNode leftRel = leftBlackboard.root;
          convertFrom(rightBlackboard, right);
          RelNode rightRel = rightBlackboard.root;
          JoinRelType convertedJoinType = convertJoinType(joinType);
          RexNode conditionExp;
          final SqlValidatorNamespace leftNamespace = validator.getNamespace(left);
          final SqlValidatorNamespace rightNamespace = validator.getNamespace(right);
    
         **** 针对natural 有一些处理 后续看 非natural 需要convertJoinCondition
         创建 一个 RelNode joinRel =
         createJoin
        **** 
    

    对于left 进来以后具体根据当前sql 就是一个“users u”, 这个时候就是一个简单的identifier 。在validate 的过程中可以发现,users u 会自动给他补全成users as u , 这个时候进来就是一个 as 的sqlCall ,

        case AS:
          call = (SqlCall) from;
          convertFrom(bb, call.operand(0)); //对users as u ,取出操作符左侧的users,这就是一开始注册的表,对这个表递归convertFrom 
          if (call.operandCount() > 2
              && (bb.root instanceof Values || bb.root instanceof Uncollect)) {
            final List<String> fieldNames = new ArrayList<>();
            for (SqlNode node : Util.skip(call.getOperandList(), 2)) {
              fieldNames.add(((SqlIdentifier) node).getSimple());
            }
            bb.setRoot(relBuilder.push(bb.root).rename(fieldNames).build(), true);
          }
          return;
    

    到了具体一个USERS 这个表以后,他就是一个很小的Identifier 直接调用

     convertIdentifier(bb, (SqlIdentifier) from, null, null);
    

    直接通过validater 获取到table ,获取到这个table以后toRel

    RelOptTable table =  //这个过程在具体的参见Validator 去创建一个PrepareTable ,是新建出来的,可以具体看看源码
            SqlValidatorUtil.getRelOptTable(fromNamespace, catalogReader,
                datasetName, usedDataset);
    ****
          tableRel = toRel(table, hints);
    toRel 的方法输入直接是RelOptTable, 
    

    toRel 有两个方法重载, 在toRel(table,hints) 里面第一行还有一个调用
    直接调用的是这个, final RelNode rel = table.toRel(createToRelContext(hints));在这一行语句里面会直接创建第一rel :EnumerableTableScan .
    后面会根据hasVirtualFields 有一些具体的处理,不细看,暂时不知道virtual 什么含义。至此我们获得了一个rel:scan.
    后面对于convertSelectList
    统一调用这个 rexBuilder.makeInputRef(root, ref);
    在这个table 里面因为table 里面有多列,遍历table的所有的列,将每一个列,都变成一个引用,因为我们发现在debug 过程中会多次看到 1 这些来指代一个列, 就是从这里开始的, 而这些1 也就是一个RexInputRef ,是在这个过程中遍历的时候直接创建的对象。传入了这个列在这个表中的一个index。

    相关文章

      网友评论

          本文标题:sqlNode->relNode(SqlSelect)

          本文链接:https://www.haomeiwen.com/subject/odxaqrtx.html