转载 原文地址：http://zhaoyanblog.com/archives/776.html
单个文件，对其内容进行排序，使用sort命令：
sort a.txt
去重加-u选项
sort -u a.txt
输出到一个文件
sort -o a.txt_sort -u a.txt
如果是100个1G大小的文件呢？如何进行排序去重呢？使用sort命令也是可以实现的。
第一步：先对单个文件进行排序去重
sort -o a1.txt -u a1.txt
sort -o a2.txt -u a2.txt
sort -o a3.txt -u a3.txt
sort -o a4.txt -u a4.txt
。。。。
sort -o a100.txt -u a100.txt
第二步：使用sort的合并排序
sort -o a.txt -u -m a*.txt
-m选项 表示merge已经有序的文件，如果文件事先没有排好序，这个可能会出错。
在执行merge的时候，你可能会遇到空间不足，无法写/tmp/sortXXXX的错误。
因为是多个大文件的合并操作，内存不够用，肯定是要写临时文件的。默认sort是写到/tmp目录下。
还好sort命令想的周到，你可以通过-T 选项指定一个较大空间的磁盘目录作为sort的临时文件目录。
sort -o a.txt -T /disk/temp -u -m a*.txt
最后等结果吧。
