TensorStore 是一个开源的 C++ 和 Python 库,设计用于存储和操作大规模多维数据,它包含如下特点:
- 为读写多种数组格式提供统一的 API,包括 zarr 和 N5
- 支持多种存储系统,包括 Google Cloud 存储、本地和网络文件系统、HTTP 服务器和内存存储
- 支持读/写缓存和事务,具有强大的原子性、隔离性、一致性和持久性(ACID)保证
- 通过并发性,支持来自多个进程和机器的安全、高效的访问
- 提供一个异步的 API,以实现高吞吐量的访问,甚至是对高延迟的远程存储
- 提供先进的、完全可组合的索引操作和虚拟视图
TensorStore 已经被用来解决科学计算中的关键工程挑战。
构建和安装
TensorStore Python API 需要 Python 3.5 或更高版本(不支持 Python 2)。
从 PyPI 安装
可以使用 pip 从 tensorstore PyPI package 直接安装 Python 绑定,建议先创建一个虚拟环境:
要安装最新发布的版本,请使用:
# Use -vv option to show progress
python3 -m pip install tensorstore -vv
评论