Clickhouse_Table_Engine_总结
Clickhouse表引擎决定了：
- 数据如何存储，如何读取
- 支持何种查询
- 并发数据访问能力
- 索引的使用
- 是否支持多线程请求执行
- 数据如何同步
当读取数据时, 引擎只需要抽取必要的列簇. 然而，在一些场景下,引擎可以半处理数据
对于大多数场合下，应该使用 MergeTree家族 引擎
以下包括官方介绍的17种表引擎的介绍：
Clickhouse_Table_Engine_总结
Clickhouse Dictionaries 使用样例
Clickhouse Dictionaries 字典使用
clickhouse支持从各种数据源添加自己的字典。字典的数据源可以是本地文本、可执行文件
、HTTP（s）资源或其他DBMS。有关更多信息，请参阅“外部词典的来源”。
- 完全或部分将字典存储在RAM中。
- 定期更新字典并动态加载缺失值。换句话说，可以动态加载字典。
外部词典的配置位于一个或多个文件中。 配置的路径在dictionaries_config参数中指定。
字典配置：
1 | <dictionaries_config>*_dictionary.xml</dictionaries_config> |
当前配置文件目录下，以_dictionary.xml结尾的均作为字典配置文件进行字典加载。
字典可以在服务器启动时或首次使用时加载，具体取决于dictionaries_lazy_load设置。
Clickhouse Dictionaries 外部字典的数据源配置
Clickhouse Dictionaries - Sources of External Dictionaries
Clickhouse允许从不同的源构造外部字典，配置文件通常像这样：
1 | <yandex> |
数据源则是通过source项进行配置
其中支持的数据源的类型有(source_type):
- Local file
- Executable file
- HTTP(s)
- DBMS
- MySQL
- ClickHouse
- MongoDB
- ODBC
Clickhouse Dictionaries 在内存中的存储方式
Clickhouse Dictionaries -Storing Dictionaries in Memory
Clickhouse支持多种方式将字典存储在内存中
一般推荐flat、hashed和 complex_key_hashed，这些提供了最佳的处理速度，但是不推荐使用cache，因为可能会出现性能差且难以选择最佳参数的问题。
有以下几种方式提升字典的使用性能：
- 在使用Group By之后再调用函数处理字典
- 将属性标记为单射(injective).如果不同的属性值对应不同的键，则属性被称为单射。因此，当group by 中使用通过key获取字典value的函数时，此函数将自动从group by中取出。
Clickhouse Dictionaries 键值配置说明
Clickhouse_Dictionary Key and Fields
字典键值配置说明
字典键、值的配置是在配置文件中的structure节点
整体的配置结构
1 | <dictionary> |
Columns are described in the structure:
<id>- key column.<attribute>- data column. 这里可以配置很多数据列
clickhouse_参数配置(持续更新）
clickhouse 参数配置(持续更新）
- 远程访问
- 内存限制
- 设置数据目录
https://clickhouse.yandex/docs/en/operations/configuration_files/
转化漏斗的基本实现
转化漏斗的基本实现
参照 clickhouse-presentation funnel 实现：
https://github.com/yandex/clickhouse-presentations/blob/master/meetup9/funnels.pdf测试环境：单机 Intel Xeon L5520,内存16G（配置是不是很穷呢😭）
样本数据：易观OLAP大赛Demo数据,官方说6亿，17年1月和2月的数据，我实际下载数据总条数3亿左右，只有1月的数据，可能下载过程丢了。。。
测试项
- 计算2017年1月份中，依次有序触发“搜索商品”、“查看商品”、“生成订单”的用户转化情况，
且时间窗口为1天。 - 计算2017年1月和2月份中，依次有序触发“登陆”、“搜索商品”、“查看商品”、“生成订单”、“订单付款”的用户转化情况，
且时间窗口为7天，“搜索商品”事件的content属性为Apple，“浏览商品”事件的price属性大于5000。
原题中，有时间窗口概念，clickhouse现有原生聚合函数无法支持，所以到后面实现；下载的数据没有二月份的，而且机器配置有点低，测试的时候好几次内存不够分配
