由于项目原因，经常需要压缩和解压缩大量的数据。10G规模以上，而默认tar打包和系统默认的压缩工具是单线程的。服务器多核CPU完全利用不起来，瓶颈在CPU的处理上面。于是使用了pigz这个可以利用多核的并行压缩工具。效果显著，如果你也需要频繁压缩大量的数据，可以尝试一下这个软件。
1. 安装
1.1 centos & redhat系
yum install pigz -y
1.2 debian & ubuntu系
apt-get install pigz -y
2. 使用
2.1 压缩
其中packages是要压缩的目录，packages.tgz是压缩后的名称。
tar --use-compress-program=pigz -cpvf packages.tgz packages
2.2 解压
tar --use-compress-program=pigz -xvf packages.tgz
3. 对比
我的服务器配置是：
- CPU：Intel E5-2620 CPU，双CPU，共12核，24线程
- 内存：32G内存
- 硬盘：RAID0 双盘 SAS机械盘
压缩包的大小是压缩前33G，压缩后10G
3.1 单线程解压用时：5分36秒
time tar -xvf rpms.tgz
9xeYYb
3.2 pigz多线程解压用时： 3分2秒
time tar --use-compress-program=pigz -xvf rpms.tgz
Muxjoo
3.3 单线程压缩用时：20分35秒
time tar -cpzvf - packages | split -b 3500m -d - rpms.tgz
KGPo1Z
3.4 pigz多线程压缩用时：2分8秒
time tar --use-compress-program=pigz -cpvf - packages | split -b 3500m -d - rpms.tgz
Aq7Nku
4. 总结
在我的服务器上面速度还是有很明显提升的，尤其是压缩时间，提高了10倍。解压时间也提升了一倍左右。如果需要大量的压缩和解压缩工作，效率还是会提高很多的。
5. 来源
文章转载自：CSDN:冰封飞飞
