注：本文涉及书中4.2小结
文件压缩
好处：减少存储文件的磁盘空间，加速网络和磁盘的数据传输。
所有的压缩方法都要权衡空间/时间，也就是说，压缩和解压的速度越快，节约的空间越少。
1. codec
补充
压缩算法的实现被称为codec，是Compressor/Decompressor的简写。很多codecs在Hadoop中很常用，每种都有不同的性能特性。但是，不是所有的Hadoop工具都是跟所有codecs兼容的。Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持。
在Hadoop中，一个对CompressionCodec接口的实现代表一个codec
· 压缩与解压缩
CompressionCodec可以实现压缩和解压缩：
（1）压缩：对写入输出数据流的数据进行压缩，用createOutputStream()方法
（2）解压缩：对读取输入数据流的数据进行解压缩，用createInputStream()方法
· 使用CompressionCodecFactory推断压缩算法
当在读取一个压缩文件的时候，可能并不知道压缩文件用的是哪种压缩算法，那么无法完成解压任务。在Hadoop中，CompressionCodecFactory通过使用其getCodec()方法，可以通过文件扩展名映射到一个与其对应的CompressionCodec类，如README.txt.gz通过getCodec()方法后，GipCodec类。
· 原生类库（native）
使用“原生”（native）类库进行压缩和解压缩，可以提高性能，但不是所有格式都有原生实现。
默认情况下，Hadoop会根据自身运行的平台搜索原生代码库，并自动加载。
补充
为什么需要原生库？
Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java,所以就引入了原生库or本地库(Native Libraries) 的概念。说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。
· CodecPool
如果使用原生库且需要执行大量的压缩和解压缩，可以考虑使用CodecPool，支持反复使用压缩和解压缩。
补充：
对本书范例4-3的CodecPool的进一步说明
我们从CodecPool中提取压缩器和解压器只是为了构建压缩流。
codec.createOutputStream(out,compressor)使用压缩器compressor，在底层输出流out的基础上创建对应的压缩流。
如果不用codecpool每创建一个CompressionOutputStream就会调用createOutputStream（OutputStream out）来实现压缩的方法，频繁做消耗的资源是很大的，codecpool就是让你反复去利用相同类型的压缩器，以达到分摊开销的目的，通俗一点就是让你不用每次都去实现相应的压缩功能。
参考：https://blog.csdn.net/summerdg/article/details/14019555
2. 压缩与输入分片（splitting）
如果用MapReduce处理压缩数据，就必须理解这些压缩格式是否支持切片（splitting）。
见上面表4-1，可知某个压缩格式是否支持切片。
3. 在MapReduce中使用压缩
· MapReduce读文件的解压缩和输出文件的压缩
（1）解压缩：MapReduce读文件时会通过CompressionCodecFactory来推断codec压缩算法，从而自动解压缩文件。
（2）压缩：压缩MapReduce作业的输出有两种方法
方法1：在作业配置中设置mapred.output.compress和mapred.output.compression.codec属性
方法2：在FileOutputFormat中设置属性
· 对map任务的输出进行压缩
由于map任务的输出需要写到磁盘并通过网络传输到reducer节点，所以如果使用LZO、LZ4或者Snappy这样的快速压缩方式，可以提升性能。在配置中设置属性即可。
