支持数据压缩的列数存储软件 Bcolz

GPL
C/C++ Python
跨平台
2017-05-19
深蓝苹果

Bcolz 是一款支持数据压缩的,列数存储软件。提供可压缩内存和磁盘的柱状分块数据容器。列存储允许有效地查询表,以及列添加和删除。它基于 NumPy ,并将其用作标准数据容器与 Bcolz 对象进行通信。

默认情况下,Bcolz 对象被压缩,不仅可以减少内存/磁盘存储,还可以提高 I / O 速度。压缩过程由 Blosc 在内部执行,Blosc 是针对二进制数据进行优化的高性能多线程压缩器。

Bcolz 也可以在内部使用 numexpr(默认情况下,如果它检测到 numexpr 已安装)或 dask ,以加速许多向量和查询操作。 numexpr / dask 可以优化内存使用,并使用多线程进行计算。

要求

  • Python >= 2.6

  • NumPy >= 1.8

  • Cython >= 0.22 (仅用于编译 beast)

  • C-Blosc >= 1.8.0 (可选,默认情况下将使用内部 Blosc )

  • unittest2 (可选,只在运行 Python 2.6 的情况下)

可选:

  • numexpr >= 2.5.2

  • dask >= 0.9.0

  • pandas

  • tables (pytables)

加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Windows二进制文件的Python扩展包

LFD,非官方的Windows二进制文件的Python扩展包 LFD,非官方版本、32和64位、Windows、二进制文件、科学开源、Python扩展包 克里斯托夫·戈尔克(by Christoph Gohlke),LFD(荧光动力学实验室)...

2015/10/16 09:19
167
0
深入了解zipline

转载出处 https://github.com/rainx/inside-zipline

04/12 19:49
514
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部