即席查询中的用户体验优化机制

2021-08-23 2026-08-17

tech

11 minutes read (About 1644 words)

即席数据分析中的缓存机制和离线队列机制

每一次ad-hoc查询，均是会占用有限的计算资源，而OLAP 系统在现有技术下，并不能支撑很高的查询并发，为了有效改善这个问题，在查询时间范围内数据未发生变化或者变化量小，有效运用缓存可以有效提高查询效率和用户体验

缓存机制的实现：

对SQL的查询结果进行缓存，可以在 adhoc 层或者 api 层进行处理

adhoc/api层可以对Query对象或者SQL进行Hash，hash值设定为缓存的key，计算完成后将查询结果存入 redis(同时需要保存最后计算时间）
缓存原则是越底层做合适，但缓存跟业务场景关联性强，比如有的业务场景不允许缓存误差，那么缓存设定在底层就不合适，所以adhoc需要支持多个产品或者业务，可以由api层来做缓存
对于已经配置好的看板，可以设置定时任务，每天凌晨可以有调度定时执行查询，查询后根据缓存机制进行缓存
预判场景，有些不合适缓存的尽可能不缓存，比如单纯的查明细、结果数据大、数据导出等
需要从界面端带一个参数：是否使用缓存，如果为true 表示可以走缓存逻辑，如果为false 则表明是用户强制刷新
返回给界面端的response带一个最后计算时间

olap, tech-solutions

Java 性能诊断工具简介

2021-07-24 2026-08-17

tech

20 minutes read (About 3059 words)

Java 性能诊断工具简介

在 Java 的世界里，有许多诊断工具可供选择，既包括像 jmap、jstat 这样的简单命令行工具，又包括 JVisualvm、JProfiler 等图形化综合诊断工具，同时还有 SkyWalking、ARMS 这样的针对分布式应用的性能监控系统。下面分别对其进行介绍。

简单命令行工具

JDK 内置了许多命令行工具，它们可用来获取目标 JVM 不同方面、不同层次的信息。

jinfo - 用于实时查看和调整目标 JVM 的各项参数。
jstack - 用于获取目标 Java 进程内的线程堆栈信息，可用来检测死锁、定位死循环等。
jmap - 用于获取目标 Java 进程的内存相关信息，包括 Java 堆各区域的使用情况、堆中对象的统计信息、类加载信息等。
jstat - 一款轻量级多功能监控工具，可用于获取目标 Java 进程的类加载、JIT 编译、垃圾收集、内存使用等信息。
jcmd - 相比 jstat 功能更为全面的工具，可用于获取目标 Java 进程的性能统计、JFR、内存使用、垃圾收集、线程堆栈、JVM 运行时间等信息。

图形化综合诊断工具

使用上述命令行工具或组合能帮您获取目标 Java 应用性能相关的基础信息，但它们存在下列局限：

无法获取方法级别的分析数据，如方法间的调用关系、各方法的调用次数和调用时间等（这对定位应用性能瓶颈至关重要）。
要求用户登录到目标 Java 应用所在的宿主机上，使用起来不是很方便。
分析数据通过终端输出，结果展示不够直观。

java

JVM调优参数的设置实例

2021-07-23 2026-08-17

tech

35 minutes read (About 5314 words)

JVM调优参数的设置实例

其一是标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；
其二是非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；
其三是非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会随时取消，需要慎重使用；

-XX:+<option> 启用option，例如：-XX:+PrintGCDetails启动打印GC信息的选项，其中+号表示true，开启的意思
-XX:-<option> 不启用option，例如：-XX:-PrintGCDetails关闭启动打印GC信息的选项，其中-号表示false，关闭的意思
-XX:<option>=<number> 设定option的值为数字类型，可跟单位，例如 32k, 1024m, 2g。例如：-XX:MaxPermSize=64m
-XX:<option>=<string> 设定option的值为字符串，例如： -XX:HeapDumpPath="C:\Users\Daxin\Desktop\jvmgcin"

GC 类型

java的gc回收的类型主要有几种 UseSerialGC，UseConcMarkSweepGC，UseParNewGC，UseParallelGC，UseParallelOldGC，UseG1GC

SerialGC(-XX:+UseSerialGC)

使用串行回收器进行回收，这个参数会使新生代和老年代都使用串行回收器，新生代使用复制算法，老年代使用标记-整理算法。Serial收集器是最基本、历史最悠久的收集器，它是一个单线程收集器。一旦回收器开始运行时，整个系统都要停止。

Client模式下默认开启，其他模式默认关闭。

java

kudu安装部署异常记录

2021-07-15 2026-08-17

tech

3 minutes read (About 523 words)

kudu安装部署异常记录

init kudu failed the cpu on this system does not support sse4.2

判断主机/虚拟机是否支持 sse4_2 指令集：

1	grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" \|\| echo "SSE 4.2 not supported“"

由于物理主机的CPU是支持该指令集的，所以只需要修改虚拟机的主机模式

Unable to init master catalog manager

bigdata, olap, presto

Lua Kafka使用

2021-06-26 2026-08-17

tech

a minute read (About 150 words)

Lua Kafka使用

lua-resty-kafka，Lua kafka client driver for the Openresty based on the cosocket API。需要注意的是，不同于redis和mysql 客户端，kafka客户端并不是自带的，需要自行下载发布到openresty 的lualib目录下：

1
2
3

wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip
unzip master.zip
cp -r lua-resty-kafka-master/lib/resty/kafka /usr/local/openresty/lualib/resty/

当max_buffering参数设置过大时，出现table overflow

lua, openResty

Lua Redis 使用

2021-06-25 2026-08-17

tech

10 minutes read (About 1547 words)

Lua Redis 使用

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端，通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-redis。

lua, openResty

Lua Mysql 使用

2021-06-24 2026-08-17

tech

5 minutes read (About 818 words)

Lua Mysql使用

lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端，通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-mysql。

lua, openResty

Lua Json使用

2021-06-23 2026-08-17

tech

5 minutes read (About 714 words)

Lua Json使用

在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，如：cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成一些特殊要求。而在使用dkjson时也没有遇到性能问题，目前使用的就是dkjson。使用时要特别注意的是大部分JSON库都仅支持UTF-8编码；因此如果你的字符编码是如GBK则需要先转换为UTF-8然后进行处理。

lua, openResty

即席查询中的用户体验优化机制

即席数据分析中的缓存机制和离线队列机制

缓存机制的实现：

Java 性能诊断工具简介

Java 性能诊断工具简介

简单命令行工具

图形化综合诊断工具

JVM调优参数的设置实例

JVM调优参数的设置实例

GC 类型

SerialGC(-XX:+UseSerialGC)

kudu安装部署异常记录

kudu安装部署异常记录

init kudu failed the cpu on this system does not support sse4.2

Unable to init master catalog manager

Lua Kafka使用

Lua Kafka使用

Lua Redis 使用

Lua Redis 使用

Lua Mysql 使用

Lua Mysql使用

Lua Json使用

Lua Json使用

Tag Cloud

Archives

Recent

Categories

Recent

Categories

Your browser is out-of-date!