求教Linux下大文件并发压缩的方法

vForce · 发表于 2019-4-2 23:23:35

大概有个3T的文件夹需要压缩，之前用7zip压缩设置Mx1之后需要压4-5天左右，压完了有2.4T左右。
但是这个压缩时间太长了，而且每次只用单线程。。想问各位大佬有没有能并发压缩的办法？
目前来说磁盘不是瓶颈，iostat下看到使用率长期是个位数，偶尔才跳40%。

tony601818 · 发表于 2019-4-2 23:30:18

压缩率很重要吗？
并行压缩的有pbzip2

yidaomm · 发表于 2019-4-3 00:48:38

居然压缩几T的文件~~

zzz · 发表于 2019-4-3 01:08:38

7za支持多核的吧先打成tar再7z压？

coolloves · 发表于 2019-4-3 09:39:04

pigz 多线程gz,应该可以满足