离线消息保存到 ClickHouse

EMQX 客服发表于:2022年05月10日 14:10:18

离线消息保存到 ClickHouse

搭建 ClickHouse 数据库,并设置用户名密码为 default/public,以 CentOS 为例:

## 安装依赖
sudo yum install -y epel-release

## 下载并运行packagecloud.io提供的安装shell脚本
curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

## 安装ClickHouse服务器和客户端
sudo yum install -y clickhouse-server clickhouse-client

## 启动ClickHouse服务器
clickhouse-server

## 启动ClickHouse客户端程序
clickhouse-client

创建 “mqtt” 数据库:

create database mqtt;

创建 mqtt_msg 表:

use mqtt;
create table mqtt_msg (
 msgid String,
 sender String,
 topic String,
 qos Nullable(Int8) DEFAULT 0,
 retain Nullable(Int8) DEFAULT 0,
 payload String,
 arrived Int64) engine = MergeTree() ORDER BY msgid;

注:消息表结构不能修改,请使用上面SQL语句创建

创建规则:

打开 EMQX Dashboard,选择左侧的“规则”选项卡。

然后填写规则 SQL:

FROM说明

**t/#**: 发布者发布消息触发保存离线消息到 ClickHouse

**$events/session_subscribed**: 订阅者订阅主题触发获取离线消息

**$events/message_acked**: 订阅者回复消息ACK后触发删除已经被接收的离线消息
SELECT * FROM "t/#", "$events/session_subscribed", "$events/message_acked" WHERE topic =~ 't/#'

image.png

关联动作:

在“响应动作”界面选择“添加动作”,然后在“动作”下拉框里选择“离线消息保存到 ClickHouse ”。

image.png

现在资源下拉框为空,可以点击右上角的 “新建” 来创建一个 ClickHouse 资源:

image.png

弹出一个“创建资源”对话框

image.png

填写资源配置:

填写真实的 ClickHouse 服务器地址,其他配置填写相应的值,然后点击 “测试连接” 按钮,确保连接测试成功。

最后点击 “确定” 按钮。

image.png

返回响应动作界面,点击 “确认”。

image.png

返回规则创建界面,点击 “创建”。

image.png

规则已经创建完成,通过 Dashboard 的 WebSocket 客户端发一条数据(发布消息的QoS必须大于0):

image.png

消息发送后,通过 cqlsh 查看到消息被保存到 ClickHouse 里面:

image.png

使用另外一个客户端,订阅主题 "t/1" (订阅主题的QoS必须大于0,否则消息会被重复接收):

image.png

订阅后马上接收到了保存到 ClickHouse 里面的离线消息:

image.png

离线消息被接收后会在 ClickHouse 中删除:

image.png


    您需要登录后才可以回复