给文本文件按行为单位进行排序和去除重复行，是文本处理任务中非常常见的，尤其是对超大文本文件的排序和去重，由于所需空间可能超出计算机内存的大小，无法一次性加载进内存进行简单的处理，因此是一个有挑战性的难题：既要保证能够处理，又要保证处理速度快。本文就是为此做准备，首先实现预览超大文本文件，统计总行数和平均每行的字符数，并且为了便于增加直观的了解，增加了预览前100行的功能。
本例中，使用了第三方包github.com/topxeq/tk，该包中有不少实用的函数，我们在以后也将会经常用到。可以用下述命令安装该包。
go get -v github.com/topxeq/tk
本文例子代码中已经加了很多代码内注释，注意Go语言从C语言发展而来，一定程度上可以看成C语言的超级加强版，因此在注释的语法上和C/C++语言是一致的，都支持“//”开始的单行注释，和“/*...*/”包起来的多行注释。
本文中的代码可以在github.com/topxeq/goexamples/preview1中找到，可以用
go get -v github.com/topxeq/goexamples/preview1
命令获取，也可以直接用
go get -v github.com/topxeq/goexamples
命令获取所有例子代码后。获取后，到GOPATH目录下找到该子目录（如果GOPATH是C:\goprjs，则最终代码包目录为C:\goprjs\src\github.com/topxeq/goexamples/preview1），在该目录下运行下述命令即可执行，
go run preview1.go test1.txt
其中test1.txt是准备预览的超大文本文件。
代码如下：
package main
import (
"bufio"
"io"
"os"
"strings"
// 本例中使用了第三方包tk，可用go get -v github.com/topxeq/tk命令安装
"github.com/topxeq/tk"
)
func main() {
// 获取第1个命令行参数（实际上是第二个命令行参数，可执行文件名是第1个，序号为0）
fileNameT := tk.GetParameterByIndexWithDefaultValue(os.Args, 1, "")
// 如果命令行参数中没有指定文件名则报错
if fileNameT == "" {
tk.Pl("文件名不能为空")
// 等待用户输入（可以输入任意字符，回车键结束）
tk.GetUserInput("按回车键退出……")
return
}
// 打开文件
fileT, errT := os.Open(fileNameT)
if errT != nil {
tk.Pl("打开文件%v时发生错误：%v。", fileNameT, errT)
tk.Pl("请按回车键结束处理……")
tk.GetUserInput("按回车键退出……")
return
}
// 保证关闭文件（在函数退出时会执行该条语句）
defer fileT.Close()
// 创建读取文件的缓冲式读取器
readerT := bufio.NewReader(fileT)
// 记录总行数
countT := 0
// 记录总字符数
totalLenT := 0
// 循环读取文件中的每一行
for true {
strT, errT := readerT.ReadString('\n')
// 如果出现错误则中止循环
if errT != nil {
// 错误有可能是到达文件末尾，此时正常终止循环
if errT == io.EOF {
strT = strings.TrimRight(strT, "\r\n")
if countT < 100 {
tk.Pl("%v: %v", countT+1, strT)
}
totalLenT += len(strT)
countT++
}
break
}
// 去除行尾可能存在的\r和\n字符（Windows中的文本文件一般的行尾结束符是连续的\r\n两个字符）
strT = strings.TrimRight(strT, "\r\n")
// 100行以内会输出预览，并输出行号
if countT < 100 {
tk.Pl("%v: %v", countT+1, strT)
}
// 增加总字符数和总行数
totalLenT += len(strT)
countT++
}
tk.Pl("共%v行，平均每行%v个字符。", countT, totalLenT/countT)
tk.GetUserInput("按回车键退出……")
return
}
除了代码的内部文档注释，再补充说明如下：
-> tk.Pl函数类似于fmt.Printf函数，但多输出一个回车换行；
-> tk.GetUserInput函数用于获取用户输入，本例中实际上等待一个回车后好再退出程序；这是为了直接双击该程序可执行文件运行的情况下，如果没有该条语句，CMD窗口会在程序退出时直接一闪消失，导致看不清程序的输出，因此增加的便捷功能；
-> defer关键字是Go语言中的特性之一，其特点是：保证defer后面的语句（同一行内，一般为一个函数）可以在任何情况下都可以被执行，无论是函数正常退出还是异常中止。如果定义了多条defer语句，则会在正常或异常退出所在的函数时按定义时的反向顺序执行，即先定义的后执行；
-> 本例中使用了bufio包中定义的Reader类，可以保证用缓冲的方式读取，写文件时也可以用缓冲的方式，保护一下硬盘；
-> 用bufio.Reader.ReadString函数读取到的字符串，会包含最后的行结束符“\r\n”（Linux系统下只有\n），因此需要用strings.TrimRight函数去除行尾的这两个字符，注意该函数第二个参数是指要截取的所有字符，即每个字符都会被从行尾去除掉，而不是按顺序的两个字符去除；
这段代码执行的示例截图如下：
注意，为了演示效果清晰，本例中的代码仅输出了前十行预览。可以看出，该超大文本文件包含4千多万行，平均每行约20个字符，因此总大小在1G左右。
