tar -O 参数可以强制解压缩时输出到stdout，从而使用管道 tar -c 在创建打包文件时可以直接使用管道，但是需要注意此时不能加上 -f (force) 参数，否则tar会拒绝创建文件 pigz -c 参数也用于输出到stdout，从而使用管道 例如，在如果有这样的需求： 多个打包的tar ...
分类：
其他好文 时间：
2019-07-04 12:54:35
阅读次数：
120
send：发文件：nc -l 9001 <test2.sh 传文件夹：tar cf - data | pigz -1 | nc -l 9021 recive: 收文件夹: nc 192.168.50.191 9021| pigz -d | tar xvf - 收文件：nc 172.16.29.171 ...
分类：
其他好文 时间：
2019-05-19 11:47:58
阅读次数：
109
快速压缩工具pigz 近期为了优化构建产物的压缩速率，从tar -zcvf替换到了pigz。 pigz, which stands for parallel implementation of gzip, is a fully functional replacement for gzip that ...
分类：
其他好文 时间：
2019-02-11 00:56:17
阅读次数：
198
使用tar+pigz+ssh实现大数据的高效传输 转自：http://www.cnblogs.com/chjbbs/p/6472236.html 以前我们跨主机拷贝大数据的时候，比如要拷贝超过100GB的mysql原始数据，我们通常的做法如下： 在源端打包压缩为tar.gz文件 采用scp或者rsy ...
分类：
其他好文 时间：
2018-04-08 15:56:02
阅读次数：
172
使用tar+pigz+ssh实现大数据的高效传输
以前我们跨主机拷贝大数据的时候，比如要拷贝超过100GB的mysql原始数据，我们通常的做法如下：在源端打包压缩为tar.gz文件采用scp或者rsync等方式拷贝到目标主机在目标主机解压文件这三个过程..
分类：
其他好文 时间：
2017-09-01 11:54:12
阅读次数：
202
当你要两台机器之间拷贝一些大文件的时候，把nc(netcat)和pigz(parallel gzip)组合起来会是一个简单和高效的选择。不过，如果要把这些文件同时分发到多台机器，有什么好法子吗？在Tumblr，这还算蛮常见的需求，比如我们要快速的同时增加几台MySQL Slave的时候。 你可以从源 ...
分类：
其他好文 时间：
2017-06-25 14:18:51
阅读次数：
158
在使用Automysqlbackup备份MySQL时，有时候你会在邮件里面看见"WARNING: Turning off multicore support, since pigz isn't there."这样的告警信息，为什么会出现这个告警信息呢？ 错误原因： Automysqlbackup在备...
分类：
数据库 时间：
2015-11-12 14:51:50
阅读次数：
311
使用tar+lz4/pigz+ssh更快的数据传输2013-11-8 | 10:41分类：Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度，有了这个基础，就可以进一步的使用压缩来加速传输速度了。只使用scp，传输速率最快约90MB，本文通过压缩将把最快传输速率提升...
分类：
其他好文 时间：
2015-11-10 01:35:16
阅读次数：
280
一、压缩（1.1）使用gzip进行打包：# time tar -zcf tar1.tar binlog*real0m48.497suser0m38.371ssys0m2.571s（1.2）使用pigz压缩，同时设置最高压缩速度(-1)# time tar -cv binlog* | pigz -1 ...
分类：
其他好文 时间：
2015-09-30 00:50:23
阅读次数：
245
一、压缩
（1.1）使用gzip进行打包：
# time tar -zcf tar1.tar binlog*
real 0m48.497s
user 0m38.371s
sys 0m2.571s
（1.2）使用pigz压缩，同时设置最高压缩速度(-1)
# time tar -cv binlog* | pigz -1 -p 24 -k >pigz1.tar.gz
real 0m...
分类：
其他好文 时间：
2015-07-09 16:19:22
阅读次数：
2701
