CeresDB 是一款高性能、分布式的云原生时序数据库，采用 Rust 编写。
CeresDB 架构介绍
CeresDB 是一个时序数据库，与经典时序数据库相比，CeresDB 的目标是能够同时处理时序型和分析型两种模式的数据，并提供高效的读写。
在经典的时序数据库中，Tag列（InfluxDB称之为Tag，Prometheus称之为Label）通常会对其生成倒排索引，但在实际使用中，Tag的基数在不同的场景中是不一样的 ———— 在某些场景下，Tag的基数非常高（这种场景下的数据，我们称之为分析型数据），而基于倒排索引的读写要为此付出很高的代价。而另一方面，分析型数据库常用的扫描 + 剪枝方法，可以比较高效地处理这样的分析型数据。
因此 CeresDB 的基本设计理念是采用混合存储格式和相应的查询方法，从而达到能够同时高效处理时序型数据和分析型数据。
下图展示了 CeresDB 单机版本的架构
┌──────────────────────────────────────────┐
│ RPC Layer (HTTP/gRPC/MySQL) │
└──────────────────────────────────────────┘
┌──────────────────────────────────────────┐
│ SQL Layer │
│ ┌─────────────────┐ ┌─────────────────┐ │
│ │ Parser │ │ Planner │ │
│ └─────────────────┘ └─────────────────┘ │
└──────────────────────────────────────────┘
┌───────────────────┐ ┌───────────────────┐
│ Interpreter │ │ Catalog │
└───────────────────┘ └───────────────────┘
┌──────────────────────────────────────────┐
│ Query Engine │
│ ┌─────────────────┐ ┌─────────────────┐ │
│ │ Optimizer │ │ Executor │ │
│ └─────────────────┘ └─────────────────┘ │
└──────────────────────────────────────────┘
┌──────────────────────────────────────────┐
│ Pluggable Table Engine │
│ ┌────────────────────────────────────┐ │
│ │ Analytic │ │
│ │┌────────────────┐┌────────────────┐│ │
│ ││ Wal ││ Memtable ││ │
│ │└────────────────┘└────────────────┘│ │
│ │┌────────────────┐┌────────────────┐│ │
│ ││ Flush ││ Compaction ││ │
│ │└────────────────┘└────────────────┘│ │
│ │┌────────────────┐┌────────────────┐│ │
│ ││ Manifest ││ Object Store ││ │
│ │└────────────────┘└────────────────┘│ │
│ └────────────────────────────────────┘ │
│ ┌ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ │
│ Another Table Engine │ │
│ └ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ │
└──────────────────────────────────────────┘
性能优化与实验结果
CeresDB 组合使用了列式混合存储、数据分区、剪枝、高效扫描等技术，解决海量时间线（high cardinality）下写入查询性能变差的问题。
写入优化
CeresDB 采用类 LSM（Log-structured merge-tree）写入模型，无需在写入时处理复杂的倒排索引，因此写入性能上较好。
查询优化
主要采用以下技术手段提高查询性能：
剪枝：
-
min/max 剪枝：构建代价比较低，在特定场景，性能较好
-
XOR 过滤器：提高对 parquet 文件中的 row group 的筛选精度
高效扫描：
-
多个 SST 间并发：同时扫描多个 SST 文件
-
单个 SST 内部并发：支持 Parquet 层并行拉取多个 row group
-
合并小 IO：针对 OSS 上的文件，合并小 IO 请求，提高拉取效率
-
本地 cache：缓存 OSS 拉取文件，支持内存和磁盘缓存
性能测试结果
采用 TSBS 进行性能测试。压测参数如下：
-
10 个 Tag
-
10 个 Field
-
时间线（Tags 组合数）100w 量级
压测机器配置：24c90g
InfluxDB 版本：1.8.5
CeresDB 版本：1.0.0
写入性能对比
InfluxDB 写入性能随着时间下降较多。CeresDB 在写入稳定后，写入速率趋于平稳，并且总体写入性能表现为 InfluxDB 的 1.5 倍以上（一段时间后可达 2 倍以上差距）
下图中，单行 row 包含 10 个 Field。
上图为 Influxdb，下图为 CeresDB
查询性能对比
低筛选度条件（条件：os=Ubuntu15.10），CeresDB 比 InfluxDB 快 26 倍，具体数据如下：
-
CeresDB 查询耗时：15s
-
InfluxDB 查询耗时：6m43s
高筛选度条件（命中的数据较少，条件：hostname=[8 个]，此时理论上传统倒排索引会更有效），这是 InfluxDB 更有优势的场景，此时在预热完成条件下，CeresDB 比 InfluxDB 慢 5 倍。
-
CeresDB：85ms
-
InfluxDB：15ms
快速开始
获取代码
通过 git 克隆代码仓库并进入代码目录：
git clone git@github.com:CeresDB/ceresdb.git
cd ceresdb
通过 Docker 运行
确保开发环境安装了 docker，通过仓库中的提供的 Dockerfile 进行镜像的构建：
docker build -t ceresdb .
使用编译好的镜像，启动服务：
docker run -d -t --name ceresdb -p 5440:5440 -p 8831:8831 ceresdb
通过源码编译运行
安装依赖
目前为了编译 CeresDB，需要安装相关依赖，以及 Rust 工具链。
开发依赖（Ubuntu20.04）
开发环境这里以 Ubuntu20.04 为例，执行如下的命令，即可安装好所需的依赖：
apt install git curl gcc g++ libssl-dev pkg-config cmake
需要注意的是，项目的编译对 cmake、gcc、g++ 等实际上都是有版本要求的，如果开发环境使用的是较老的 Linux 发行版的话，一般需要手动安装较高版本的这些依赖。
Rust
Rust 的安装建议通过 rustup，安装了 rustup 之后，进入到 CeresDB 项目的时候，会自动根据 rust-toolchain 文件下载指定的 Rust 版本。
理论上执行了之后，需要添加环境变量，才能使用 Rust 工具链，一般会把下面的命令放入到自己的 ~/.bashrc 或者 ~/.bash_profile 中：
source $HOME/.cargo/env
编译和运行
编译 Release 版本，执行如下命令：
cargo build --release
使用下载的代码中提供的默认配置文件，即可启动：
./target/ceresdb-server --config ./docs/example.toml
进行数据读写
CeresDB 支持自定义扩展的 SQL 协议，目前可以通过 http 服务以 SQL 语句进行数据的读写、表的创建。
建表
curl --location --request POST 'http://127.0.0.1:5440/sql' \ --header 'Content-Type: application/json' \ --data-raw '{ "query": "CREATE TABLE `demo` (`name` string TAG, `value` double NOT NULL, `t` timestamp NOT NULL, TIMESTAMP KEY(t)) ENGINE=Analytic with (enable_ttl='\''false'\'')" }'
插入数据
curl --location --request POST 'http://127.0.0.1:5440/sql' \ --header 'Content-Type: application/json' \ --data-raw '{ "query": "INSERT INTO demo(t, name, value) VALUES(1651737067000, '\''ceresdb'\'', 100)" }'
查询数据
curl --location --request POST 'http://127.0.0.1:5440/sql' \ --header 'Content-Type: application/json' \ --data-raw '{ "query": "select * from demo" }'
查看建表信息
curl --location --request POST 'http://127.0.0.1:5440/sql' \ --header 'Content-Type: application/json' \ --data-raw '{ "query": "show create table demo" }'
删除表
curl --location --request POST 'http://127.0.0.1:5440/sql' \ --header 'Content-Type: application/json' \ --data-raw '{ "query": "DROP TABLE demo" }'
评论