Presto 基础概念

presto服务进程

presto服务器进程一共有两种服务器进程：coordinator服务进程和worker服务进程

coordinator服务进程主要作用是:接收查询请求、生成查询执行计划、任务调度和worker管理

worker服务进程则执行被分解后的查询执行计划:task。

2019ICDE-Presto: SQL on Everything

本文发表于2019年，但是presto从2013年开始就有了，2019年原作者从Facebook分道扬镳。有关这段爱恨情仇可以在trino官网（presto主流继承版本）中看到。本文的作者是presto的原作者，发表于2019年，此时presto已经是比较成熟完善的系统了，学习的价值更大。

Abstract

Presto是分布式查询引擎，支持SQL负载。既能承担亚秒级别的交互式查询，也要能支持几小时的ETL任务。
主要特性是：灵活、自适应、扩展性强（支持多个外部源，包括HDFS、RDBMS、NoSQL、流处理系统）。

I. INTRODUCTION

Presto作为交互式的查询引擎，从2013年诞生开始，已经在Facebook以及世界上众多大公司使用，以满足端上用户交互式查询分析的需求。它主要有以下特性：

• 多租户系统。要支持几百个查询并行；要有扩展性，能扩展到几千个节点去。
• 集成性。管理员可以设置集群，让它可以兼容多个外部数据源，甚至在一条SQL里用多个数据源。
• 灵活性。能应对各种工作负载。
• 高度优化。多个query可以共享一个JVM运行，当然这就需要调度、资源管理、隔离等。

Java中的魔法： SPI

SPI 全称为 (Service Provider Interface) ，是JDK内置的一种服务提供发现机制，常用于创建可扩展、可替换组件的应用程序，是java中模块化插件化的关键。

SPI 框架包含3个基本组件：

1. 服务接口 Service Interface
2. 服务接口的实现类，Service Provider
3. 服务加载器 Service Loader

Service Interface是一组定义标准的接口和类。Service Provider是服务接口的特定实现，需要实现接口，并子类化服务本身中定义的类。java.util包下的ServiceLoader类就是SPI机制的核心类，主要功能是通过相关的类加载器扫描并加载provider的jar包，并且通过反射实例化服务的实现类。服务Provider程序可以以扩展的形式安装在Java平台的实现中，也就是说，可以将provider的jar文件放置在任何常用扩展目录中，也可以通过将其jar包添加到应用程序的类路径或通过其他一些特定于平台的方式来使使用方来调用。

ServiceLoader机制允许用户在其应用程序代码保持不变的前提下扩展程序功能或者添加新功能。例如SLF4J本身只是API，日常编程中我们只需要使用LogFactory获得log实例，而不用关心底层是的日志实现框架是Logback还是Log4J；java.sql.Driver是在java中定义的标准SQL服务API，如果需要从oracal数据库切换到mysql数据库，我们的数据访问层代码不需要任何修改，只需要替换掉jdbc 驱动包即可。

JDK中包含了非常多的SPI服务功能（如servlet、邮件服务、音频服务、SQL驱动，大部分位于javax），以供不同的服务厂商或者插件商基于标准定义实现自己的方案。除了能够服务于厂商或插件商，JavaSPI 也为我们实现框架扩展提供了一个不错思路。当一个功能可能会有两种以上的实现方案时，可以在应用程序中预留出 SPI 接口，剩下的适配工作便留给了开发者，这样可以在不侵入代码的前提下，通过增删依赖来扩展框架

解密SPI

目标：实现消息推送功能，要求后期能够切换不同推送厂商的推送服务(例如极光推送、小米推送、百度推送等等)

领导说：

​ “目前各个项目分散在不同的仓库中，不利于管理，需要将多个项目仓库合并到一个工程仓库来进行开发，要求保留各个仓库迁移前的commits 记录，最好还能对命名不规范的项目进行重命名”

恕我直言，可以实现！

Git 多仓库合并

假设要合并ABC 不同的分支到新工程X，ABC 工程作为X工程的子目录

迁移A 工程的5.0分支到新工程X的A1目录

迁移B工程的dev分支 到新工程X的B1目录

迁移C 工程的6.0分支 到新工程X的C1目录

期望：合并后的目录结构

新工程X（master分支）
.
├── A1 (原A工程的某分支)
├── B1 (原B工程的某分支)
├── C1 (原C工程的某分支)
.git
README.md

网页长截图

雄文十万，也挡不住管理方的删帖封号，本文就来说一下怎么通过技术的方式来保存网页内容

场景5:基于NPTB模型的交叉销售组合

NPTB模型是在已知顾客购买产品的基础上，选择顾客最有可能接受的产品对顾客进行推荐

案例：

Marry第一次购买了口红，第二次购买了睫毛膏，第三次购买了眼影粉，那么可以根据Marry的购买记录，可以给marry推送强相关的粉底

场景6:具有客户洞察力的线下导购技术支持服务

BA: 美妆导购，可以扩展到线下导购、门店导购、线下门店中的销售人员

Clienteling是零售销售人员用来根据关键客户的偏好，行为和购买数据与主要客户建立长期关系的一种技术。[1] Clienteling旨在指导员工提供更多个人和知情的客户服务[2]，这可能会影响与购物频率，平均交易价值的提升以及其他零售关键绩效指标有关的客户行为。[3]从客户的角度来看，客户服务“可以在购物体验中增加一层个人风格”

案例：

Marry进入线下门店后，线下门店立刻识别和检索出Marry 资料，然后根据Marry 的客户资料、行为数据、历史交易数据，综合给出相关的商品推荐

场景4:自动触发复购

案例：客户第一次买了色号1的口红，第二次又买了色号2口红，那么第三次呢？

推送信息：希望您喜欢我们的口红，能带给您日常生活增添色彩！ 现在又到了口红色号换季时候了！ 我们为你准备了一份礼品以便于您下次购买！