Pcompress 2.4 发布,并行压缩管理工具

oschina
 oschina
发布于 2013年09月07日
收藏 9

Pcompress 2.4 修复了很多 bug,包括某些情况下程序崩溃和缓冲区溢出问题;使用 2kb 大小的块来实现数据去重;提升了去重相似度的计算性能;提升了可用内存检测的精度。

pcompress是一种实用工具,做并行分裂成块的输入数据压缩/解压缩和重复数据删除。它具有模块化结构,包括支持LZMA 算法,BZIP2,PPMD等,CRC64块校验等多种算法。捆绑LZMA压缩的SSE优化。它还实现了内容感知的重复数据删除和块级增量压缩功能的基础 上半拉宾指纹图谱计划。它具有低的元数据开销和重叠的I / O和压缩,以达到最大的并行。它还捆绑了一个简单的slab分配器,以加快重复类似的块分配。它可以工作在管道模式,从标准输入读取和写入到 stdout。它还提供了一些自适应压缩在多种算法,每块试图确定在给定块的最佳模式。

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Pcompress 2.4 发布,并行压缩管理工具
加载中
返回顶部
顶部