Nginx Lua 模块指令

Nginx Lua 模块指令

  tech
  16 minutes read (About 2424 words)

Nginx Lua 模块指令

Nginx共11个处理阶段，而相应的处理阶段是可以做插入式处理，即可插拔式架构；另外指令可以在http、server、server if、location、location if几个范围进行配置：

  , 
  Read More
Lua 模块开发

Lua 模块开发

  tech
  8 minutes read (About 1139 words)

Lua 模块开发

在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。

使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；

另外注意之前我们使用init_by_lua中初始化的全局变量是每请求复制一个；如果想在多个Worker进程间共享数据可以使用ngx.shared.DICT或如Redis之类的存储。

在/usr/openResty/lualib中已经提供了大量第三方开发库如cjson、redis客户端、mysql客户端：

  , 
  Read More
Nginx Lua 环境搭建

Nginx Lua 环境搭建

  tech
  7 minutes read (About 1052 words)

Nginx Lua 环境搭建

安装

官方安装文档：http://openresty.org/cn/linux-packages.html#centos
以centos举例：

1
2
3
4
5
6
7
8
9
10
11
# add the yum repo:
wget https://openresty.org/package/centos/openresty.repo
sudo mv openresty.repo /etc/yum.repos.d/

# update the yum index:
sudo yum check-update

#然后就可以像下面这样安装软件包，比如 openresty：
sudo yum install -y openresty
#安装命令行工具 resty，那么可以像下面这样安装 openresty-resty 包：
sudo yum install -y openresty-resty

源码编译安装：

先去官网下载源码包：http://openresty.org/cn/download.html，安装指导：http://openresty.org/cn/installation.html

  , 
  Read More
Lua 安装

Lua 安装

  tech
  a minute read (About 115 words)

Lua 安装

MacOS安装

1
brew install lua53

或者 源码编译

1
2
3
4
5
curl -R -O http://www.lua.org/ftp/lua-5.3.0.tar.gz
tar zxf lua-5.3.0.tar.gz
cd lua-5.3.0
make macosx test
make install

Linux

1
2
3
4
5
curl -R -O http://www.lua.org/ftp/lua-5.3.0.tar.gz
tar zxf lua-5.3.0.tar.gz
cd lua-5.3.0
make linux test
make install

测试是否安装成功

1
2
 ~ lua -v
Lua 5.3.5  Copyright (C) 1994-2018 Lua.org, PUC-Rio
  , 
  Read More
kudu cli 命令

kudu cli 命令

  tech
  3 minutes read (About 438 words)

kudu 管理运维常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
service kudu-master restart
service kudu-tserver restart

# master server 管理界面
http://presto-1:8050/tablets

# tablet server 管理界面
http://presto-2:8051/tablet-servers

# 列出集群中的 tablet server
kudu tserver list presto-1,presto-2,presto-3

# 列出集群中的 master server
kudu master list presto-1,presto-2,presto-3

# 查看指定tserver_address的状态
kudu tserver status <tserver_address>

# 检测集群状态
sudo -u kudu kudu cluster ksck presto-1,presto-2,presto-3
sudo -u kudu kudu cluster ksck presto-1,presto-2,presto-3 > ./ksck.out 2>&1
<!-- more -->
# 检查tserver_address的状态
sudo -u kudu kudu remote_replica check <tserver_address>

# 列出所有表
kudu table list presto-1:7051,presto-2:7051,presto-3:7051

# 删除表
sudo -u kudu kudu table delete presto-1:7051,presto-2:7051,presto-3:7051 table_name
events
metrics_kudu
# 
kudu remote_replica copy <tablet_id> <src_address> <dst_address> [-force_copy]

修复replicas

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
sudo -u kudu kudu cluster ksck master1,master2,master3 > ./ksck.out 2>&1
发现有56个表处于非健康状态：
==================
Errors:
==================
table consistency check error: 56 out of 183 table(s) are not healthy
 
举例：
在ksck.out中可以看到具体是哪个表的哪个tablet出问题了：
The consensus matrix is:
 Config source |   Replicas   | Current term | Config index | Committed?
---------------+--------------+--------------+--------------+------------
 master        | A   B   C*   |              |              | Yes
 A             | A   B   C*   | 1427         | 2450         | Yes
 B             | A   B   C*   | 1427         | 2450         | Yes
 C             | A   B   C*   | 1427         | 2450         | Yes
Tablet 3689e076ed354f94a0967d1eed4b7d16 of table 'impala::dl_zz_kudu.tm_scada_hdzysj_change' is unavailable: 2 replica(s) not RUNNING
  868688d5077b4e02b14a8a0a57958668: TS unavailable
  0b4f24052ed74405b5d58fecd83f33e7: TS unavailable
  a59cf0d8d1ed45d8b1af094f4a28d686 (xxxxx:7050): RUNNING [LEADER]
 
0 replicas' active configs differ from the master's.
  All the peers reported by the master and tablet servers are:
  A = 0b4f24052ed74405b5d58fecd83f33e7
  B = 868688d5077b4e02b14a8a0a57958668
  C = a59cf0d8d1ed45d8b1af094f4a28d686
 
可以看到只有a59cf0d8d1ed45d8b1af094f4a28d686这一个replication是好的，另外俩都不可用了。
修复命令：
sudo -u kudu kudu remote_replica unsafe_change_config xxxx:7050 3689e076ed354f94a0967d1eed4b7d16 a59cf0d8d1ed45d8b1af094f4a28d686

sudo -u kudu kudu remote_replica unsafe_change_config xxxx:7050 {tablet_id} {replica_id}
Presto 动态数据源改造方案

Presto 动态数据源改造方案

  tech
  7 minutes read (About 1049 words)

Presto 动态数据源改造方案

Presto 数据源加载机制原生是基于文件系统的，从配置目录中加载 数据源配置文件，从而实现不同源的数据库连接，而且整个过程是在presto集群启动时执行。而我们需要动态的增加/删除 数据源，并且不重启整个presto集群，所以对presto 加载数据源部分做了改造：

  1. 对外新增两个EndPoint：增加数据源API 和 删除数据源API
  2. 数据源的配置从文件系统迁移到数据库
  3. 在不重启集群的前提下，动态更新presto 数据源连接信息

动态增加/删除数据源，新增catalog endpoint

新增两个接口，用于向presto/trino 动态的增加和删除数据源：

  • POST http://{presto-api-base-url}/v1/catalog/add

  • DELETE http://{presto-api-base-url}/v1/catalog/delete

处理的流程图：

  , , 
  Read More

Presto Connector Plugin 开发

  tech
  2 minutes read (About 272 words)

Presto Connector plugin开发

  , , 
  Read More

Prest/Trino编译调试经验（持续补充）

  tech
  19 minutes read (About 2861 words)

Presto(trino)编译调试经验（持续补充）

将Trino二次开发和调试过程中遇到的问题进行记录

trino运行报错跟踪

Trino 使用一段时间报错：

1
2
3
4
5
6
7
8
9
10
11

Caused by: java.lang.NoClassDefFoundError: io/trino/memory/QueryContext$QueryMemoryReservationHandler
	at io.trino.memory.QueryContext.<init>(QueryContext.java:111)
	at io.trino.execution.SqlTaskManager.createQueryContext(SqlTaskManager.java:196)
	at io.trino.execution.SqlTaskManager.lambda$new$0(SqlTaskManager.java:162)
	at com.google.common.cache.CacheLoader$FunctionToCacheLoader.load(CacheLoader.java:168)
	at com.google.common.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3529)
	at com.google.common.cache.LocalCache$Segment.loadSync(LocalCache.java:2278)
	at com.google.common.cache.LocalCache$Segment.lockedGetOrLoad(LocalCache.java:2155)
	at com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2045)
	... 81 more

重启后正常，应该是发包后没有重启，后续没有出现

trino 在idea下，无法debug运行，报错：jdk 下一些类找不到

  , , 
  Read More
  Follow

Tag Cloud

Kerberos OnlineSale PaaS SQL algorithm ambari aop asr benchmark bigdata bugs chatGPT clickhouse data structure database devops efficiency gis git hadoop hbase interface java linux llm lua magic_tech manage metrics nginx olap one-data openResty presto privatization python review scrum shell splider springboot tech-solutions think tools training 数据模型 行为分析

Archives

Recent

Categories

Recent

Categories

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×