引言
1.我觉得应该在github上建一个repo就叫fuck mac，文件系统有毒，文件有毒，命令行工具有毒。
2.本文将使用golang展示从入坑到出坑再到打上补丁的全过程。
昨天想测试一下某个后端服务的并发能力，需要先把一些数据导入到elastic search里面去，于是我就去github上搞了一点csv文件。打算写个程序给它们弄进es。结果我分别尝试了python自带的csv解析库，nodejs的库,golang自带的csv库，全部都不能正确解析......下面golang版本读取csv的代码。
func main() {
f, _ := os.Open("./datapath.csv")
r := csv.NewReader(bufio.NewReader(f))
for {
record, err := r.Read()
if err == io.EOF {
break
}
for value := range record {
fmt.Printf(" %v\n", record[value])
}
}
}
一开始我想，会不会是这个文件有毒，于是我打算一个字符一个字符的去检查这个csv文件。
func readFile(filename string) {
f, _ := os.Open(filename)
b := make([]byte, 300)
f.Read(b)
fmt.Printf("%q\n", b)
}
调用上面这个函数查看csv文件，发现原来这些文件默认使用\r作为行尾，而这些库默认解析的时候都认为行尾是\n或者\r\n。为什么我下载到的这些csv会是\r结尾的呢？我尝试在mac上创建了一份csv文件，结尾也是\n。具体原因我也没有深查下去,反正基本就是说mac经典的文件就是用\r来换行的......真的有毒啊。下面开始想解决方法。
替换所有的\r为\n
最简单的就是直接把\r换成\n好了。本来想用sed，不过mac上的sed也有毒（不是gun的sed），于是用tr命令。
tr "\r" "\n" < a.csv > b.csv
寻找bug
为啥不能正确解析\r结尾的文件呢？抱着试一试的态度，我打开了csv/reader.go文件，找到了我们使用的csv.NewReader方法
func NewReader(r io.Reader) *Reader {
return &Reader{
Comma: ',',
r: bufio.NewReader(r),
}
}
我们看到NewReader其实只是在 io.Reader上加了个comma,用于表明分割符号的。而这个NewReader函数会返回一个csv.Reader,也就是那个r
r := csv.NewReader(bufio.NewReader(f))
接下来，我们再来看看这个csv.Reader的Read方法，它调用了parseRecord方法。
func (r *Reader) Read() (record []string, err error) {
for {
record, err = r.parseRecord()
...
}
....
return record, nil
}
接着看看这个parseRecord方法，
func (r *Reader) parseRecord() (fields []string, err error) {
...
for {
haveField, delim, err := r.parseField()
...
}
}
这个方法里面调用了io.Reader的parseField方法。那我们再去看看这个方法是咋写的。
func (r *Reader) parseField() (haveField bool, delim rune, err error) {
r.field.Reset()
r1, err := r.readRune()
for err == nil && r.TrimLeadingSpace && r1 != '\n' && unicode.IsSpace(r1) {
r1, err = r.readRune()
}
...
return true, r1, nil
}
总而言之，就是调用readRune一个一个读入Rune，当读到\n就认为一行结束了。
啊哈，突然有了眉目了，就是说只要在这个地方，当程序读到\r我把它转换为\n不就可以了吗。
我们接着看看这个readRune是怎么写的
func (r *Reader) readRune() (rune, error) {
r1, _, err := r.r.ReadRune()
if r1 == '\r' {
r1, _, err = r.r.ReadRune()
if err == nil {
if r1 != '\n' {
r.r.UnreadRune()
r1 = '\r'
}
}
}
r.column++
return r1, err
}
原来，csv/reader.go里面把\r\n全部转换成了\n了，但是，如果只有\r的话，就没有任何变化。
所以，其实对我们来说，我们就是要把这段代码变成
func (r *Reader) readRune() (rune, error) {
r1, _, err := r.r.ReadRune()
if r1 == '\r' {
r1, _, err = r.r.ReadRune()
if err == nil {
if r1 != '\n' {
r.r.UnreadRune()
r1 = '\n'
}
}
}
r.column++
return r1, err
}
so easy，如果\r后面的不是\n，就把\r变成\n。
猴子补丁
但是，直接改golang标准库的源码是不是太傻逼了一点。其实我们要做的不过是把\r变成\n这么简单地事情。
macreader这个库很好的完成了这个任务,代码简单到可以半分钟看完
package macreader
import "io"
var (
rByte byte = 13 // the byte that corresponds to the '\r' rune.
nByte byte = 10 // the byte that corresponds to the '\n' rune.
)
type reader struct {
r io.Reader
}
func New(r io.Reader) io.Reader {
return &reader{r: r}
}
func (r reader) Read(p []byte) (n int, err error) {
n, err = r.r.Read(p)
for i, b := range p {
if b == rByte {
p[i] = nByte
}
}
return
}
简单说来就是用New函数包装一个新的Reader,这个Reader的Read方法会调用被包装的Reader的Read方法,但是会把\r换成\n。我们把它使用在开头的例子里面。
func main() {
f, _ := os.Open("./datapath.csv")
r := csv.NewReader(macreader.New(bufio.NewReader(f)))
for {
record, err := r.Read()
if err == io.EOF {
break
}
for value := range record {
fmt.Printf(" %v\n", record[value])
}
}
}
