TensorStore 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
TensorStore 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
TensorStore 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 C/C++ 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 数据库相关
开源组织
地区 不详
投 递 者 Alias_Travis
适用人群 未知
收录时间 2022-09-27

软件简介

TensorStore 是一个开源的 C++ 和 Python 库,设计用于存储和操作大规模多维数据,它包含如下特点:

  • 为读写多种数组格式提供统一的 API,包括 zarr 和 N5
  • 支持多种存储系统,包括 Google Cloud 存储、本地和网络文件系统、HTTP 服务器和内存存储
  • 支持读/写缓存和事务,具有强大的原子性、隔离性、一致性和持久性(ACID)保证
  • 通过并发性,支持来自多个进程和机器的安全、高效的访问
  • 提供一个异步的 API,以实现高吞吐量的访问,甚至是对高延迟的远程存储
  • 提供先进的、完全可组合的索引操作和虚拟视图

TensorStore 已经被用来解决科学计算中的关键工程挑战。

构建和安装

TensorStore Python API 需要 Python 3.5 或更高版本(不支持 Python 2)。

从 PyPI 安装

可以使用 pip 从 tensorstore PyPI package 直接安装 Python 绑定,建议先创建一个虚拟环境:

要安装最新发布的版本,请使用:

# Use -vv option to show progress
python3 -m pip install tensorstore -vv

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
发表了资讯
2022/09/28 08:22

Google 开源 TensorStore,为读写大型多维数据而设计

Google 在上周发表了一篇博客文章,当中介绍了一个开源的 C++ 和 Python 库 —— TensorStore,开发者可以使用它来存储和操作多维数据,该库旨在通过更好地管理和处理大型数据集来解决科学计算中的关键工程挑战。 如今计算机科学和机器学习中的各种应用都在操作跨越单一坐标系的多维数据集。在这些应用中,一个单一的数据集可能就需要 PB 级的存储空间,而且处理这种数据集也同样面对挑战 —— 因为用户可能以不同的规模和不可预...

0
7
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
13 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部