速度极大提升,Arch Linux 计划将 zstd 作为默认压缩算法

h4cd
 h4cd
发布于 2019年03月25日
收藏 22

过去几周,Arch Linux 维护人员比较了不同的压缩算法,最终计划使用 zstd 取代 devtools 中的默认压缩算法。

当前的压缩方法是`xz -c -z -`,它是单线程的,速度很慢,所以团队希望用更快的算法来将其替换。

虽然多线程 xz 早已出现,但是在一些意外情况下无法完成功能,所以很快就被淘汰了。 

新的想法是使用 Facebook 的 zstd 算法,zstd 又叫 Zstandard,它是一种快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。

zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。

经过一系列测试后 Arch 团队得出结论,理想的 zstd 级别将是“-18”,`zstd -c -T0 -18 -`相比`xz -c -z -`的优势是:

  • 压缩时速度大幅提高
  • 解压速度大幅提高
  • 稳定、可重复的多线程

解压速度的提高将大大提高 pacman 的包安装速度。

目前 zstd 已经处在项目主干上,等待发布。

详情查看邮件说明:https://lists.archlinux.org/pipermail/arch-dev-public/2019-March/029520.html

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:速度极大提升,Arch Linux 计划将 zstd 作为默认压缩算法
加载中

精彩评论

dwingo
dwingo

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
邪恶八稚女
邪恶八稚女
压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊

最新评论(13

haitaosoft
haitaosoft
一句话总结:
压缩率略差,压缩速度较快,解压速度很快
格力高
格力高
赞一个,很早就在btrfs中使用zfs了,压缩效果明显,读写速度影响也不大
动弹
动弹
时间换空间
Alex-loongkylin
Alex-loongkylin
lz不是更快吗?
fy0
fy0
https://github.com/facebook/zstd
https://github.com/inikep/lzbench
求大佬们给解说一下,这不是这两个benchmark里面的ratio标准不一样啊??怎么压缩比是反过来的
fy0
fy0
看不明白这个图,按图上说的最佳算法难道不是lz4???
d
diphda
lz4压缩比差很多,提高压缩比后lz4不算很快
冰镇阳的光
冰镇阳的光
一般的压缩算法都提供从最优压缩到极限压缩的选项,要么向时间妥协,要么向空间妥协
dwingo
dwingo

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊

引用来自“dwingo”的评论

但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.

引用来自“开源中国最大五毛”的评论

最大的包cuda原来压缩后1316M,换算法之后137X M。
压缩时间从19分钟到1分钟,解压时间从1分钟到秒级别,网速不到10MB的地方确实下载的时间多一点。

最后说起来,似乎这个事情对官方吸引力更大一点?毕竟打包的时间更短了。
如果国内有镜像的话, 10M网速倒不是问题, 如果连国外...这种上G的包即使压成XZ也得下很久.
压缩时间确实差距很大, 如果打包频繁,而打包的服务器少,那确实得考虑压缩性能.
开源中国最大五毛
开源中国最大五毛

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊

引用来自“dwingo”的评论

但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
最大的包cuda原来压缩后1316M,换算法之后137X M。
压缩时间从19分钟到1分钟,解压时间从1分钟到秒级别,网速不到10MB的地方确实下载的时间多一点。

最后说起来,似乎这个事情对官方吸引力更大一点?毕竟打包的时间更短了。
dwingo
dwingo

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
返回顶部
顶部