以前小伙伴给我数据集 一部分稍微比较大,他们都会压缩 rar格式后邮件传个我。我这里做一些ETL清洗,需要先在自己mac上解压缩,我之后要在服务器入库的时候,ftps 传输上去当时量不大的时候也是解压缩上传的。
后来小伙伴们的数据集开始变得庞大起来,我这里解压缩 清洗后如果要ftps 传输到服务器 需要很久很久,远远比上传压缩文件要困难。主要当时服务器并没有安装 rar 的解压工具。为此我非常不满。
实在是被逼无奈,和运维小哥商议好了 在服务器安装好了rar的解压工具,虽然没有加入环境变量,我在用的时候非root 还是需要 全路径去执行,
韩哥发我一份 从他Windows打包 rar格式的文件我未解压上传到 服务器 ,使用服务器上的rar解压工具,解压成功,通过 mac 执行文件 MD5验证 与 Linux服务器上 md5sum验证,压缩文件传输 过程没有损坏
之后志豪发我一份从他Windows 打包的rar格式的文件 我也未解压上传到Linux服务器,使用服务器上的rar解压工具,解压失败,虽然在我本地mac志豪的也解压成功,单服务器告诉我 无法抽取源文件。这到底是为什么。
开始追究原因
1.志豪电脑的操作系统问题 ,pass 掉
2.志豪电脑 rar压缩工具问题,韩哥的WinRAR【64X 5.40] 工具竟然还比 志豪的[64X 5.50]低0.1个版,pass掉
3.志豪电脑 WinRAR的默认压缩参数有问题,
首先我先看韩哥的WinRAR压缩参数
韩哥的
压缩文件格式 RAR【其实是RAR4]
压缩方式 标准
字典大小 4096 KB
###################
我们再看志豪的配置
志豪的是
压缩文件格式 RAR【其实是RAR3]
压缩方式 标准
字典大小 32 MB
刚开始以为是字典大小的问题,志豪切换到4 MB,传给我,发现依然在服务器解压失败,没办法真的怀疑人生了,后来志豪选择了 RAR4 并选择4096 KB 和zip 传给我,这次解压成功 ,至此 总算找到答案,由于两台电脑的rar 默认版本不同导致问题,RAR4及 4096KB 才是其中Linux mac都支持的解压参数