Presto 动态数据源改造方案

2021-04-15 2022-02-04

tech

7 minutes read (About 1049 words)

Presto 动态数据源改造方案

Presto 数据源加载机制原生是基于文件系统的，从配置目录中加载数据源配置文件，从而实现不同源的数据库连接，而且整个过程是在presto集群启动时执行。而我们需要动态的增加/删除数据源，并且不重启整个presto集群，所以对presto 加载数据源部分做了改造：

对外新增两个EndPoint：增加数据源API 和删除数据源API
数据源的配置从文件系统迁移到数据库
在不重启集群的前提下，动态更新presto 数据源连接信息

动态增加/删除数据源，新增catalog endpoint

新增两个接口，用于向presto/trino 动态的增加和删除数据源：

POST http://{presto-api-base-url}/v1/catalog/add
DELETE http://{presto-api-base-url}/v1/catalog/delete

处理的流程图：

bigdata, olap, presto

Presto Connector Plugin 开发

2021-03-25 2022-02-04

tech

2 minutes read (About 272 words)

Presto Connector plugin开发

bigdata, olap, presto

Prest/Trino编译调试经验（持续补充）

2021-02-27 2022-02-13

tech

19 minutes read (About 2861 words)

Presto(trino)编译调试经验（持续补充）

将Trino二次开发和调试过程中遇到的问题进行记录

trino运行报错跟踪

Trino 使用一段时间报错：


Caused by: java.lang.NoClassDefFoundError: io/trino/memory/QueryContext$QueryMemoryReservationHandler
	at io.trino.memory.QueryContext.<init>(QueryContext.java:111)
	at io.trino.execution.SqlTaskManager.createQueryContext(SqlTaskManager.java:196)
	at io.trino.execution.SqlTaskManager.lambda$new$0(SqlTaskManager.java:162)
	at com.google.common.cache.CacheLoader$FunctionToCacheLoader.load(CacheLoader.java:168)
	at com.google.common.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3529)
	at com.google.common.cache.LocalCache$Segment.loadSync(LocalCache.java:2278)
	at com.google.common.cache.LocalCache$Segment.lockedGetOrLoad(LocalCache.java:2155)
	at com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2045)
	... 81 more

重启后正常，应该是发包后没有重启，后续没有出现

trino 在idea下，无法debug运行，报错：jdk 下一些类找不到

bigdata, olap, presto

Presto-Kudu-Connector-Support-Array

2021-02-15 2022-02-04

tech

3 minutes read (About 390 words)

Presto-Kudu-Connector-Support-Array

Presto是支持Array数据类型的，由于上层应用需要用到Array数据类型，所以当使用不支持Array数据类型的Kudu 作为存储引擎时，需要改造下Kudu 的连接器：

主要的改造思路就是，insert时将数组转换为字符串进行存储，读取时将字符串转换为数组给Presto。

从数据库中查询出哪些列是array 和 decimal
在KuduMetadata中修改getColumnHandles、getTableMetadata、beginInsert 方法，使相应的列名支持array-decimal
修改 KuduPageSink 的appendColumn方法，如果是array 类型，将其转换为特殊字符分割的字符串存入列中
修改KuduRecordCursor 的getObject方法，如果当前field类型是array，那么将获取的值反向分割转成字符串
修改NativeKuduClientSession的addConstraintPredicates方法，支持decimal条件过滤

bigdata, olap, presto

Presto核心设计

2021-02-15 2022-02-04

tech

34 minutes read (About 5097 words)

presto 核心设计

1 RESTFUL架构

在presto中几乎所有的操作都是依赖于AirLift构造的RESTful服务来完成的，包括worker节点的管理、查询语句的提交、查询状态的显示、各个task之间数据的传递等。因此presto中的RESTful服务是presto集群的基础。

presto中提供了四种类型的RESTful接口，分别是statement服务接口、query服务接口、stage服务接口、task服务接口

1.statement服务接口

与sql语句相关的请求均由该服务接口处理，包括接收提交的sql语句、获取查询执行结果的语句、取消查询语句等。statement服务接口的实现类为StatementResource。

2.query服务接口

与查询相关的RESTful请求均由query服务接口处理，包裹sql语句的提交、获取查询执行的结果、取消查询等。query服务接口实现类为QueryResource。

bigdata, olap, presto

Presto架构

2020-02-25 2022-02-04

tech

a minute read (About 112 words)

Presto架构

Presto是一个在一组机器上运行的分布式系统。完整安装包括协调员和多个工作人员。查询从客户端（Presto CLI、presto-jdbc）提交给协调器。协调器解析，分析和计划查询执行，然后将处理分发给worker工作进程。

presto硬件架构

bigdata, olap, presto

Presto 动态数据源改造方案

Presto 动态数据源改造方案

动态增加/删除数据源，新增catalog endpoint

Presto Connector Plugin 开发

Presto Connector plugin开发

Prest/Trino编译调试经验（持续补充）

Presto(trino)编译调试经验（持续补充）

trino运行报错跟踪

trino 在idea下，无法debug运行，报错：jdk 下一些类找不到

Presto-Kudu-Connector-Support-Array

Presto-Kudu-Connector-Support-Array

Presto核心设计

presto 核心设计

1 RESTFUL架构

1.statement服务接口

2.query服务接口

Presto架构

Presto架构

presto硬件架构

Tag Cloud

Archives

Recent

Categories

Recent

Categories

Your browser is out-of-date!