Pcompress 3.0 Beta 发布,并行压缩管理工具

oschina
 oschina
发布于 2014年01月13日
收藏 8

Pcompress 3.0 Beta 版发布,此版本更新内容如下:

  1. featuring complete archiving capability using Libarchive and advanced data type-based compression

  2. Appropriate algorithms for the file type are used along with various filters like PackJPG, Dispack, Delta2, etc

  3. Files are sorted to cluster similar content and improve compression.

  4. Data split boundaries are determined from file type and rolling hash changes

  5. Other improvements include performance tweaks, reduced memory consumption, and simplified usage

pcompress是一种实用工具,做并行分裂成块的输入数据压缩/解压缩和重复数据删除。它具有模块化结构,包括支持LZMA 算法,BZIP2,PPMD等,CRC64块校验等多种算法。捆绑LZMA压缩的SSE优化。它还实现了内容感知的重复数据删除和块级增量压缩功能的基础 上半拉宾指纹图谱计划。它具有低的元数据开销和重叠的I / O和压缩,以达到最大的并行。它还捆绑了一个简单的slab分配器,以加快重复类似的块分配。它可以工作在管道模式,从标准输入读取和写入到 stdout。它还提供了一些自适应压缩在多种算法,每块试图确定在给定块的最佳模式。

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Pcompress 3.0 Beta 发布,并行压缩管理工具
加载中
返回顶部
顶部