LiquidCache 是专为基于DataFusion的系统设计的对象存储缓存。只需将 LiquidCache 注册为TableProvider即可享受性能提升。根据你的使用情况，LiquidCache 可以轻松实现 10 倍的成本和延迟降低。
LiquidCache 和 DataFusion 都在同一区域内的云服务器上运行，但配置不同：
- LiquidCache 的内存/CPU 比率通常为 16:1（例如，64GB 内存和 4 个核心）
- DataFusion 的内存/CPU 比率通常为 2:1（例如，32GB 内存和 16 个核心）
多个 DataFusion 节点通过网络连接共享同一个 LiquidCache 实例。每个组件都可以随着工作负载的增长而独立扩展。
在底层，LiquidCache 对来自对象存储的 Parquet 数据进行转码和缓存，并在将数据发送到 DataFusion 之前评估过滤器，从而有效降低缓存服务器上的 CPU 利用率和网络数据传输。
评论