目录
背景
优化规则HiveAggregateProjectMergeRule
总结
背景
这篇文章来讲优化规则HiveAggregateProjectMergeRule,主要功能是将Project投影操作之上的Aggregate聚合函数操作两者进行合并,前提是只有当聚合函数的GroupBY分组表达式和参数是字段引用(即,不是表达式)时,才满足优化规则使用条件。如果识别到Project上的Aggregate操作,如果是通过Project做的汇总,进行两者合并或将Project移除,即group by 字段和投影字段相同,将两者合并。在某些情况下,此规则具有修剪的效果:聚合将使用比Projetct投影操作更少的列。
在CalciteAPI中关于构建Aggregate汇总操作对象组成元素。它与SQL查询语句中的GROUPBY运算符以及SELECT子句中的聚合函数相对应。
说明:groupSets的所有成员都必须是groupSet的子集。对于简单的GROUP BY,groupSets是一个包含groupSet的单例列表。如果未指定GROUP BY,或者如果指定GROUP BY(),则groupSet将为空集,并且groupSets将有一个元素,即该空集。如果指定了多维数据集、汇总集或分组集,则groupSet将有其他元素,但每个元素都必须是groupSet的一个子集,并且必须按包含进行排序:(0,1,2),(1),(0,2),(0),()。
优化规则HiveAggregateProjectMergeRule
1)matches方法逻辑详解
matches方法返回此规则Rule是否可能与给定的操作数operands匹配,但是此方法的任何实现都可以给出误报,也就是说虽然规则与操作数匹配,但随后具OnMatch(ReloptRuleCall)而不生成任何后续任务。
判断由RelOptCall调用的优化规则Rule是否与输入参数RelNode关系表达式匹配,即此优化规则Rule能否应用到一个RelNode关系表达式树上。
如果此表达式,含有GroupId,这条规则不能应用,因为GroupId的变化,Value也会发生改变
Group_ID是group_sets集合中分组ID(类似排列组合的分组ID,1组、2组、3组等)。下面例子会使用group_sets和GROUPINGID进行查询,其中的 GROUPINGID,表示结果属于哪一个分组集合。
例如:
2)onMatch方法逻辑详解
接收有关一条规则匹配的通知。同时此方法被调用,call.rels保存了与规则Rule的操作数Operands匹配上的关系表达式RelNode集合;call.rels[0]是根表达式。通常一条规则Rule会检查这些节点是否有效匹配,创建一个新表达式RelNode(等价的)然后调用RelOptRuleCall.transformTo(org.apache.calcite.rel.RelNode, java.util.Map<org.apache.calcite.rel.RelNode, org.apache.calcite.rel.RelNode>)注册表达式。而RelOptRuleCall用一系列RelNode关系表达式集合作为参数,对RelOptRule优化规则的调用。
call.rel(1)获取Project投影操作,call.rel(0)也即获取的Project操作之上Aggregate操作。apply函数将Project投影操作之上的Aggregate聚合函数操作两者进行合并的关键,返回优化后的非空的RelNode,RelOptRuleCall调用转换方法注册到RelSet集合,以备优化器构建最优执行计划。
3)apply方法涉及到等价变换的具体过程
传入参数为Aggregate操作对象和Project投影操作对象
RexInputRef:引用输入关系表达式RelNode的字段的变量。
输入的字段是基于0的。如果有多个输入,则它们将连续编号。如果连接的输入是如下:
因此 RexInputRef(3, Integer) is 字段 DEPTNO2的正确的引用.
2 .遍历调用汇总函数,函数列表,判断AGG引用的字段是否在Project投影中引用,而且是字段引用,而不是表达式的引用,否则将跳出优化。
3. 如果groupset顺序不同,或者包含重复,则添加一个Project。判断这两个列表是否相等,如果不相等,则进行遍历newKeys索引,并查找对应newGroupSet索引位置,添加到postList中。使用new Aggregate和posList列表创建一个new Project投影。这里完成了Aggregate和Project合并的操作作为一个RelNode。
总结