Presto Connector Plugin 开发

Presto Connector plugin开发

  • ConnectorHandlerResolver 主要是获取该connector中一些handler的类型信息

  • ConnectorMetadata 主要是维护该catalog下的schema和table信息. 例如, mysql connector中的ConnectorMetadata 实现就需要负责读取该数据库配置下有哪些database和哪些table, 以及每个table中的column信息

  • ConnectorSplitManger: 主要负责根据查询条件和数据存储, 将计算分解成多个Split, 交给Coordinator 调度. 类似MapReduce中计算InputSplit的概念

  • Read操作可以选择实现两个接口: ConnectorPageSourceProviderConnectorRecordSetProvider. 其实RecordSetProvider是更贴近通常数据库的概念的封装, 更容易理解, presto 会将RecordSetProvider返回的数据再左一层Adapter映射到PageXXX的结构上. 而PageSourceProvider 是更底层. 两个选择实现一个就可以

  • Write操作同理Read操作, 选择性实现两个接口ConnectorRecordSinkProviderConnectorPageSinkProvider中一个接口

  • ConnectorIndexResolver 负责根据查询判断是否使用索引. 选择性实现

  • ConnectorAccessControl负责数据权限, 可以根据需求实现权限管理. 选择性实现


Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×