Zstandard 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Zstandard 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Zstandard 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 C/C++ 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 程序开发压缩算法
开源组织 Facebook
地区 不详
投 递 者 王练
适用人群 未知
收录时间 2016-12-27

软件简介

Zstandard(zstd)是 Facebook 开源的一种快速无损压缩算法,以 zlib 级为目标的实时压缩场景和更好的压缩比。它提供了非常宽范围的压缩/速度折衷,同时支持非常快的解码器。它还为小数据提供了一种特殊模式,称为字典压缩,并且可以从任何样本集创建字典。

Zstandard 是一种新的数据压缩算法,改进了 Facebook 的存储要求。

压缩速度对比:


Zstandard 采用双授权协议:BSD 和 GPLv2

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(7) 发布并加入讨论🔥
发表了资讯
2023/11/23 18:22

Linux 6.8 将更新 Zstd 代码以获得更好的压缩性能

根据Phoronix的报道,Linux 6.8内核计划在明年升级其Zstd代码,以提供更好的压缩性能。 在Linux 6.2中,内核的Zstd压缩/解压缩代码已经根据Zstd 1.5的最新状态进行了更新。而在Linux 6.8内核中,计划升级到Zstd 1.5.5版本,这将提供更好的压缩性能。 这次Zstd升级对Linux内核的动力之一是英特尔希望在Linux内核中使用更新的Zstd版本,因为它公开了Zstd的外部匹配提供程序API,从而允许QuickAssist技术(QAT)加速LZ匹配查找阶段...

0
1
发表了资讯
2023/04/06 08:07

zstd v1.5.5 发布,修复严重错误、优化性能

zstd (Zstandard) v1.5.4 已发布。此版本修复了在高度压缩模式下出现的罕见损坏错误。由于随机出现这种情况的可能性极低,所以在多次模糊测试中都没被发现。直到一名维护者收集到庞大的数据后才设法检测出一个案例。 官方建议用户升级到此版本,尤其是使用了高度压缩模式 high compression modes (levels 16+)。 其他改进包括: 改进--patch-from模式的内存使用和速度 V1.5.5为 posix 和 windows 引入了内存映射字典。此功能允许...

0
2
发表了资讯
2023/02/12 08:16

Zstandard v1.5.4 发布,显著提升性能

Zstandard (Zstd) v1.5.4 已发布。发布公告称这是一个重大更新版本,显著优化了许多跨场景下的性能,同时引入多项新特性,以及修复错误。 据介绍,Zstandard 1.5.4 积累了许多特定于场景的改进,这些改进以某种方式累积使很大一部分安装基础 (installed base) 受益。比如针对 ARM 优化、围绕大文件的优化工作、I/O 性能优化,以及一系列其他性能工作,这些变化使 Zstd 1.5.4 成为一个令人兴奋的版本。 Zstd 1.5.4 还增加了对外部...

0
1
发表了资讯
2022/12/20 08:38

Linux 6.2 内核合并了新的 Zstd 实现

基于 Zstd v1.5 上游的新 Zstd 内核实现已合并到正在开发的 Linux 6.2 中,以便为从压缩固件到透明文件系统压缩的 Zstd 压缩/解压缩用例提供更好的性能和可靠性。 Linux 内核已在多个模块使用了 Zstd,从透明文件系统压缩与 Btrfs 之类的数据压缩,到允许内核模块使用 Zstandard 算法进行压缩。 据称,Linux 内核中的 Zstd 代码已经有一年没有更新了,使用的还是 Zstd 1.4.10,这比上游 Zstd 的更新进度晚了好几年。在 Linux 6....

0
4
发表了资讯
2022/10/27 08:57

Linux 6.2 将内核的 Zstd 压缩算法更新到 1.5.x 版本

各种 Linux 内核组件都在使用 Zstandard(Zstd) 压缩算法,但内核中的 Zstd 代码远落后于上游,上一次更新内核中的 Zstd 代码还要追溯到一年前的 Linux 5.16,,当时将 Zstd 升级到 1.4.10。从 Linux 5.16 发布以后,Zstd 维护者 Nick Terrell 就积极从上游为 Linux 内核更新 Zstd 代码,让内核的 Zstd 实现更新到可以更接近上游、更易于维护。 去年 9 月,Nick Terrell 分享他开发一个新的补丁系列,称自己将在下一个内核合并窗...

0
4
发表了资讯
2022/08/22 08:55

AWS 压缩算法从 gzip 切换到 zstd,节约 30% 存储空间

亚马逊前副总裁 Adrian cockcroft 在推特上爆料,称 AWS 的压缩算法从 gzip 切换到 zstd 后,节省了海量内存,压缩后的 S3 存储减少了大约 30% ,节省的空间可达 EB 规模(1 EB = 1024 PB = 1024 * 1024 TB)。 有亚马逊员工对该发言进行了补充,称亚马逊改变的不是客户存储的数据的压缩方式,而是 S3 自身存储服务数据(主要是日志)的方式 —— S3 自身从 gzip 日志切换到 ztsd 日志,使得存储成本降低 30% 。 但亚马逊并没有...

17
10
发表了资讯
2022/06/06 08:38

Linux 5.19 已支持使用 Zstd 压缩固件

Linux 内核维护者 Greg Kroah-Hartman 已经开始向 Linux 5.19 提交他所负责的多个模块的重要特性 PR。随着新版本内核对驱动程序进行核心改动,现已支持使用流行的 Zstd 来压缩固件文件。 该项功能支持将现有的 FW_LOADER_COMPRESS 拆分为通用 knob,将 XZ 固件压缩移动至新的 FW_LOADER_COMPRESS_XZ knob,同时添加 FW_LOADER_COMPRESS_ZSTD 以启用此 Zstd 压缩固件文件支持。当启用内核支持并且固件文件以 .zst 结尾时,将自动...

0
3
发表了资讯
2022/02/22 07:43

PostgreSQL 开始支持 Zstd

PostgreSQL 现已通过其 TOAST 存储技术提供压缩支持,并且在过去的一年里构建了 LZ4 压缩支持——用于压缩 WAL、备份压缩以及其他用途,现在 PostgreSQL 开发者正准备通过 Zstd 支持进一步扩展其压缩能力。 Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。Zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 上周 Post...

7
6
发表了资讯
2021/12/22 07:37

Zstd 1.5.1 发布,带来更多性能改进

Zstd 1.5.1 已发布,这是一个常规维护版本,更新内容除了小的改进外,在性能方面也带来了进一步的优化。 提升 1-4 级的快速压缩 (fast compression) 速度 平衡 middle compression 的压缩级别 改进霍夫曼代码,提升解码和编码速度 霍夫曼解码速度/编码速度的具体提升情况与场景紧密相关,对(解)压缩速度的总体影响取决于数据的可压缩性。 Compiler Scenario v1.5.0 Speed v1.5.1 Speed Delta gcc-11 Literal compression - 1...

1
5
发表了资讯
2021/11/15 08:38

Linux 内核 5.16 合并改进后的 zstd,性能大幅提升

上周六 Linux 5.16 合并了专为内核进行彻底修改的 Zstd 源代码。 虽然 Linux 内核已在多个模块使用了 Zstd,从透明文件系统压缩与 Btrfs 之类的数据压缩,到允许内核模块使用 Zstandard 算法进行压缩,但这些 Zstd 代码都是比较古老的版本,可以说是已经过时了许久。现在在 Linux 5.16 中,Zstd 内核实现已达到现代标准,并提供了更好的性能。 据介绍,现有的 Zstd 内核代码已经有四年的历史了,而在这段时间里,Zstd 上游修复了...

6
2
发表了资讯
2021/09/30 08:48

Linux 内核即将用上最新的 Zstd 实现

Zstandard 因其快速的解压能力以及整体出色的设计和性能,在整个开源生态中被越来越多地使用——例如在 Linux 内核中的应用。 虽然 Linux 内核越来越多地支持使用 Zstd 进行各种压缩,但目前内核中的 Zstd 代码属于比较古老的版本。例如 Linux 内核使用 Zstd 压缩模块、固件和内核镜像,甚至像 Btrfs Zstd 文件系统这样的实现。 来自 Facebook 的 Zstd 维护者 Nick Terrell 积极从上游为 Linux 内核使用的 Zstd 更新代码,让内核...

2
3
发表了资讯
2021/05/17 08:08

zstd 1.5 发布:性能大幅提升、多项 API 稳定

zstd 1.5 已正式发布,新版本在性能方面再度带来了令人印象深刻的改进,其中包括: 提升 Middle-Level 压缩的速度 提升 High-Level 压缩的压缩率 更快的解压速度 升级动态库 …… 提升 Middle-Level 压缩的速度 zstd 1.5.0 为压缩策略greedy、lazy和lazy2引入了新的默认匹配查找器(对于大于 256K 的输入,它们映射到 5-12 级)。该优化极大地提升了压缩速度,同时压缩率略有波动(<0.5%),并且内存使用量相等或减少。 提升 ...

1
2
2021/03/05 07:08

Zstd 1.4.9 发布,long 模式性能提升约 2 倍

Zstd v1.4.9 已发布, 这是一个增量版本,其中包括各种改进和错误修复。zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 >2x Faster Long Distance Mode 归功于许多优化措施,Long Distance Mode (LDM) 速度出现了大大提升。这些优化在保持压缩率的同时极大地加快压缩...

1
6
发表于开发技能专区
2020/12/22 08:13

zstd v1.4.7 发布,Facebook 开源的无损压缩算法

zstd v1.4.7 已发布,官方特别推荐升级到此版本,因为 1.4.7 在性能、修复错误以及增加新功能方面均有不小的改进。zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 P.S:文章发布时,Facebook 发布了针对 1.4.7 的热修复更新,版本也升级到了 1.4.8,修复了关于内部缓...

4
10
发表于运维专区
2020/08/22 08:57

zstd 有望进入 Linux 5.9,下一步可能是支持压缩系统固件

此前 Facebook 工程师向 Linux 内核提交了使用 zstd 压缩 Linux 内核镜像的补丁,这些补丁显示了使用 zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。 zstd 有望进入 Linux Kernel 5.9,在此基础上,现在有内核开发者提交补丁,希望采用 zstd 统一压缩内核所有内容,包括固件文件。 zstd 又叫 Zstandard,它是一种快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压...

6
2
发表于AI & 大数据专区
2020/07/28 08:14

Zstd 显著提升 Linux 内核镜像压缩效率,5.9 有望将其合并进主线

Facebook 工程师 Nick Terrell 近日向 Linux 内核提交了使用 Zstd 压缩 Linux 内核镜像的补丁,这些补丁显示了使用 Zstd 对内核、ramdisk 和 initramfs 进行压缩操作具备巨大潜力。 Nick 发现,在 x86_64 硬件上,当初始 RAM 文件系统将压缩算法从 XZ 切换到 Zstd 时,解压时间从 12 秒下降到只需 3 秒,此次切换整体上还给系统的引导时间带来了两秒的改进。同样看到较大改进的场景包括从 LZMA 切换到 Zstd,Nick 在切换至 Zstd...

6
1
发表于服务端专区
2020/05/24 08:06

Zstd 1.4.5 发布,Facebook 开源的无损压缩算法

Zstd 1.4.5 已发布,zstd(Zstandard)是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 这是一个相当重要的版本,更新内容包括性能改进和新的主要 CLI 功能。此外还修复了一些极端情况,是一个值得升级的版本。 更快的解压性能 具体的的运行速度因文件和编译器而异。对于 x64 cpus,预计...

1
20
2019/11/08 07:20

Zstandard 1.4.4 发布,无损数据压缩算法

Zstandard 1.4.4 已经发布,这个版本包括一些主要的性能改进和新的 CLI 特性,内容如下: v1.4.3 v1.4.4 silesia.tar 1440 MB/s 1600 MB/s enwik8 1225 MB/s 1390 MB/s calgary.tar 1360 MB/s 1530 MB/s api: 从解析器中提取序列以进行分析的新功能 修复了 ZSTD_initCStream_advanced() 快速模式的性能 cli: 支持管道命名 TAR 扩展支持 --output-dir-flat=DIE 新命令将目标文件生成到请求的目录中 --stream-size=# 和 --size...

3
10
发表于开发技能专区
2019/07/21 07:50

Zstandard 1.4.1 发布,解压速度更快

zstd 1.4.1 发布了,zstd 又叫 Zstandard,它是一种快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 此版本是一个维护版本,它修复了一些错误,包括只能在小众用例中触发的罕见数据损坏错误,当执行以下所有操作时会出现该 bug:使用多线程模式,重叠大小>= 512 MB,使用的 strategy>= ZSTD_btlazy,压缩超过...

0
12
发表于AI & 大数据专区
2019/04/18 06:36

Zstandard 1.4.0 发布,高级 API 稳定性增强

zstd 1.4.0 发布了,zstd 又叫 Zstandard,它是一种快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。 高级 API 此版本主要关注于高级 API 的稳定性,高级 API 提供了一种在兼容 API 和 ABI 的情况下,在压缩和解压期间设置特定参数的方法。例如,它允许使用多个线程进行压缩,启用 --longmode,设置帧参数和加...

0
11
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
7 评论
108 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部