速度极大提升,Arch Linux 计划将 zstd 作为默认压缩算法

来源: OSCHINA
编辑: h4cd
2019-03-25

过去几周,Arch Linux 维护人员比较了不同的压缩算法,最终计划使用 zstd 取代 devtools 中的默认压缩算法。

当前的压缩方法是`xz -c -z -`,它是单线程的,速度很慢,所以团队希望用更快的算法来将其替换。

虽然多线程 xz 早已出现,但是在一些意外情况下无法完成功能,所以很快就被淘汰了。 

新的想法是使用 Facebook 的 zstd 算法,zstd 又叫 Zstandard,它是一种快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。

zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩权衡可通过小增量进行配置。

经过一系列测试后 Arch 团队得出结论,理想的 zstd 级别将是“-18”,`zstd -c -T0 -18 -`相比`xz -c -z -`的优势是:

  • 压缩时速度大幅提高
  • 解压速度大幅提高
  • 稳定、可重复的多线程

解压速度的提高将大大提高 pacman 的包安装速度。

目前 zstd 已经处在项目主干上,等待发布。

详情查看邮件说明:https://lists.archlinux.org/pipermail/arch-dev-public/2019-March/029520.html

展开阅读全文
22 收藏
分享
加载中
精彩评论

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
2019-03-25 10:15
1
举报
压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
2019-03-25 09:03
1
举报
最新评论 (11)
一句话总结:
压缩率略差,压缩速度较快,解压速度很快
2019-03-26 21:01
0
回复
举报
赞一个,很早就在btrfs中使用zfs了,压缩效果明显,读写速度影响也不大
2019-03-26 10:26
0
回复
举报
时间换空间
2019-03-26 09:11
0
回复
举报
lz不是更快吗?
2019-03-26 00:10
0
回复
举报
fy0
看不明白这个图,按图上说的最佳算法难道不是lz4???
2019-03-25 18:07
0
回复
举报
lz4压缩比差很多,提高压缩比后lz4不算很快
2019-07-22 10:07
0
回复
举报
一般的压缩算法都提供从最优压缩到极限压缩的选项,要么向时间妥协,要么向空间妥协
2019-03-25 16:36
0
回复
举报

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊

引用来自“dwingo”的评论

但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.

引用来自“开源中国最大五毛”的评论

最大的包cuda原来压缩后1316M,换算法之后137X M。
压缩时间从19分钟到1分钟,解压时间从1分钟到秒级别,网速不到10MB的地方确实下载的时间多一点。

最后说起来,似乎这个事情对官方吸引力更大一点?毕竟打包的时间更短了。
如果国内有镜像的话, 10M网速倒不是问题, 如果连国外...这种上G的包即使压成XZ也得下很久.
压缩时间确实差距很大, 如果打包频繁,而打包的服务器少,那确实得考虑压缩性能.
2019-03-25 11:17
0
回复
举报

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊

引用来自“dwingo”的评论

但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
最大的包cuda原来压缩后1316M,换算法之后137X M。
压缩时间从19分钟到1分钟,解压时间从1分钟到秒级别,网速不到10MB的地方确实下载的时间多一点。

最后说起来,似乎这个事情对官方吸引力更大一点?毕竟打包的时间更短了。
2019-03-25 10:51
0
回复
举报

引用来自“邪恶八稚女”的评论

压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
但相应的压缩包也大了一些, 也就是说需要更多的下载时间, 这在网速不太高的地方完全抵消不掉安装时间的节省.
2019-03-25 10:15
1
回复
举报
压缩速度的提高将大大提高 pacman 的包安装速度,这个可以啊
2019-03-25 09:03
1
回复
举报
更多评论
13 评论
22 收藏
分享
返回顶部
顶部