用户行为分析技术架构
WHERE IN 子句的优化策略
WHERE IN 包含大量的元素的查询优化
应用端反馈一个涉及功能菜单渲染的基础SQL查询时间超过7秒，原因是where x in (上千个的元素)，通过Presto观察，发现这个SQL的查询的时间90%花在了执行计划的解析上，真正查询时间反而很快。通过删减 where in 中的元素，发现SQL就快了很多，也证实了，问题的根本原因在in 元素集合过多
CTE：SQL with as 语法
CTE：SQL with as 语法
with as 定义
CTE 即 common table express，我们常用的 with as 短语，也叫做子查询部分（subquery factoring），主要是定义一个SQL片段，该SQL片段会被整个SQL语句所用到，也有可能在union all的不同部分，作为提供数据的部分。特别对于UNION ALL比较有用，因为union all的每一个部分可能相同，但是如果每个部分都去执行一遍的话，则成本太高，所以使用with as短语，则只要执行一遍即可。如果with as短语所定义的表名被调用两次以上，则优化器会自动将with as 短语所获取的数据放入一个temp表里。
CTE（common table express）语法
WITH Common_table_express [(column_name[,n])] AS (CTE_query_definitation)
例如：
1 | with events_cte as (select event_name,event_time,ip,ua from event_table where ds==20210101) |
其中cte是公用表表达式，该表达式在使用上与表变量类似，只是SQL 在处理方式上不同。
Presto执行计划 - 分发Statement到不同的QueryExecution
Presto执行计划 - 分发Statement到不同的QueryExecution
阅读源码时梳理逻辑用，无阅读价值
获取QueryExecution
queryexecution表示一次查询执行，用于启动、停止与管理一个查询，以及统计这个查询的相关信息。
在 经过Antlr 4语法解析起进行语法分析后，最终生成了一个Node，然后转成Statement，然后再包装成PreparedQuery
再看后续代码，在 dispatchQueryFactory.createDispatchQuery()方法中对不同类型的Statement 进行分发处理，其中对应的类为：QueryExecutionFactory
1 | preparedQuery = queryPreparer.prepareQuery(session, query); |
Presto查询计划
Presto执行计划-生成计划
阅读源码时梳理逻辑用，无阅读价值
在创建 dispatchQuery 的最后，返回了一个LocalDispatchQuery，其构造函数最后一个参数调用了 SqlQueryExecution 的start()方法
Presto执行计划-词法语法分析
Presto执行计划-词法语法分析
阅读源码时梳理逻辑用，无阅读价值
如果要跟可以从上一节提交查询过程中client 发送给coordinator 的提交查询API (/v1/statement)开始跟
client初始提交query后，coordinator 创建了一个Query，然后组装nextUri 后直接response了，这时候 query 尚未排队，只有当client 来请求query状态了（/v1/statement/queued/{queryId}/{slug}/{token}），这时才将其加入到调度队列中
Presto查询计划主流程和基础概念
Presto查询计划
生成查询计划
生成查询计划 分为 语法分析、词法分析、语义分析、执行计划生成、执行计划优化、执行计划分阶段执行。
基本概念
Node
经过词法和语法分析后，会生成抽象语法树（AST），该语法树中的每一个节点都是Node（SQL语句的一部分，例如select部分，where部分），Node是一个抽象类，其实现类如下图，特别庞大：
Presto提交查询
Presto提交查询
阅读源码时梳理逻辑用，无阅读价值
提交查询的流程
Presto/Trino 客户端对查询语句的提交分三个步骤：
- 从指定的文件、命令行参数或者Cli窗口中获取需要执行的SQL语句。
- 将得到的SQL语句组装成一个RESTFul 请求，发送给Coordinator，并返回处理的response
- Client 会不停地循环分配获取查询结果，返回给终端显示/返回给JDBC connect，直到查询结果完全显示
cli提交查询的入口在：client 目录下的trino-cli 工程中，入口类io.trino.cli.Trino
