Clickhouse Dictionaries - Sources of External Dictionaries
Clickhouse允许从不同的源构造外部字典，配置文件通常像这样：
1 | <yandex> |
数据源则是通过source项进行配置
其中支持的数据源的类型有(source_type):
- Local file
- Executable file
- HTTP(s)
- DBMS
- MySQL
- ClickHouse
- MongoDB
- ODBC
Clickhouse Dictionaries 外部字典的数据源配置
Clickhouse Dictionaries 在内存中的存储方式
Clickhouse Dictionaries -Storing Dictionaries in Memory
Clickhouse支持多种方式将字典存储在内存中
一般推荐flat、hashed和 complex_key_hashed，这些提供了最佳的处理速度，但是不推荐使用cache，因为可能会出现性能差且难以选择最佳参数的问题。
有以下几种方式提升字典的使用性能：
- 在使用Group By之后再调用函数处理字典
- 将属性标记为单射(injective).如果不同的属性值对应不同的键，则属性被称为单射。因此，当group by 中使用通过key获取字典value的函数时，此函数将自动从group by中取出。
Clickhouse Dictionaries 键值配置说明
Clickhouse_Dictionary Key and Fields
字典键值配置说明
字典键、值的配置是在配置文件中的structure节点
整体的配置结构
1 | <dictionary> |
Columns are described in the structure:
<id>- key column.<attribute>- data column. 这里可以配置很多数据列
clickhouse_参数配置(持续更新）
clickhouse 参数配置(持续更新）
- 远程访问
- 内存限制
- 设置数据目录
https://clickhouse.yandex/docs/en/operations/configuration_files/
Kafka_Consumer的七种消费场景
Kafka_Consumer的七种消费场景
从0.10 开始，再无低等级消费者，消息均需通过ConsumerAPI：KafkaConsumer类进行消费，不同的消费场景，不一样的实现，官方提供了7种场景的解决方案：
- Automatic Offset Committing
- Manual Offset Control
- Manual Partition Assignment
- Storing Offsets Outside Kafka
- Controlling The Consumer’s Position
- Consumption Flow Control
- Multi-threaded Processing
下面就基于kafka2.0官方文档，一一拆解：
Mongodb自动备份及恢复
Mongodb自动备份及恢复
安装
1 | curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz # 下载 |
运行
1 | nohup /usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data & |
