Go程序包开发，读简单配置文件

1、概述

配置文件（Configuration File，CF）是一种文本文档，为计算机系统或程序配置参数和初始设置。传统的配置文件就是文本行，在 Unix 系统中随处可见，通常使用 .conf,.config,.cfg 作为后缀，并逐步形成了 key = value 的配置习惯。在 Windows 系统中添加了对 section 支持，通常用 .ini 作为后缀。面向对象语言的兴起，程序员需要直接将文本反序列化成内存对象作为配置，逐步提出了一些新的配置文件格式，包括 JSON，YAML，TOML 等。

关于配置文件读写

现代配置文件的读写，官方网站一般会提供各种语言的配置读写包，而且大部分是开源的。

2、课程任务

任务目标

  1. 熟悉程序包的编写习惯（idioms）和风格（convetions）
  2. 熟悉 io 库操作
  3. 使用测试驱动的方法
  4. 简单 Go 程使用
  5. 事件通知

任务内容

在 Gitee 或 GitHub 上发布一个读配置文件程序包，第一版仅需要读 ini 配置，配置文件格式案例：

# possible values : production, development
app_mode = development

[paths]
# Path to where grafana can store temp files, sessions, and the sqlite3 db (if that is used)
data = /home/git/grafana

[server]
# Protocol (http or https)
protocol = http

# The http port  to use
http_port = 9999

# Redirect to correct domain if host header does not match domain
# Prevents DNS rebinding attacks
enforce_domain = true

|

任务要求

  1. 核心任务：包必须提供一个函数 Watch(filename,listener) (configuration, error)
    • 输入 filename 是配置文件名
    • 输入 listener 一个特殊的接口，用来监听配置文件是否被修改，让开发者自己决定如何处理配置变化
      • type ListenFunc func(string)
      • type inteface Listener { listen(inifile string) }
      • ListenFunc 实现接口方法 listen 直接调用函数
      • 优点
        • 所有满足签名的函数、方法都可以作为参数
        • 所有实现 Listener 接口的数据类型都可作为参数
    • 输出 configuration 数据类型，可根据 key 读对应的 value。 key 和 value 都是字符串
    • 输出 error 是错误数据，如配置文件不存在，无法打开等
    • 可选的函数 WatchWithOption(filename,listener,...) (configuration, error)
  2. 包必须包括以下内容：
    • 生成的中文 api 文档
    • 有较好的 Readme 文件，包括一个简单的使用案例
    • 每个go文件必须有对应的测试文件
    • 必须提供自定义错误
    • 使有 init 函数，使得 Unix 系统默认采用 # 作为注释行，Windows 系统默认采用 ; 作为注释行。
  3. 不能使用第三方包，但可以参考、甚至复制它们的代码。例如：
    • ini 读写包。 Github，中文支持
    • Viper 读配置集成解决方案包。Github
      • live watching and re-reading of config files (optional)
    • fsnotify 文件系统通知包。 Github
    • 你可以参考这些代码，但不能在你的包中 import

下面是实现的代码，具体细节见注释部分

我在注释部分说明的很详细，就不再过多说明函数的作用

数据结构

type config struct {
    sectionList []string            //存key
    sections    map[string]*section //实际存储数据的地方（形成key和value的映射）
}

type section struct {
    keyValue map[string]string
}

watch函数

func Watch(filename string, listener Listener) (*config, error) {
    var cfg *config
    listener.Listen(filename)
    var e error = nil
    cfg, e = load(filename)
    return cfg, e
}

加载文件

func load(filename string) (*config, error) {
    f, err := os.Open(filename) //打开文件
    if err != nil {             //如果打开失败--遇到错误
        return nil, err
    }
    defer f.Close() //在函数执行结束后关闭文件

    buf := bufio.NewReader(f) //从文件里读取数据
    cfg, err := parse(buf)    //执行parse函数，详情见parse.go
    return cfg, err
}

初始化函数

func (cfg *config) init() {
    cfg.sections = make(map[string]*section) //初始化map
}

建立新的section

func (cfg *config) newSection(name string) error {
    if len(name) == 0 { //如果名字长度为0
        return errors.New("section name is empty")
    }
    if cfg.sections[name] != nil { //如果sections中某一项已经有数据
        return errors.New("already has same section name")

    }
    cfg.sectionList = append(cfg.sectionList, name) //扩展
    cfg.sections[name] = &section{
        keyValue: make(map[string]string),
    }
    return nil
}

根据系统来确定注释行符号

func init() { //根据系统来确定注释行符号
    switch runtime.GOOS {
    case "windows": //如果是windows系统
        notes = ";"
        lineBreaker = "\r\n"
    case "linux": //如果是linux系统
        notes = "#"
        lineBreaker = "\n"
    }
}

获取一行的数据

func getLine(buf *bufio.Reader, isEOF *bool) ([]byte, error) {
    line, err := buf.ReadBytes('\n') //按行读取数据
    if err == io.EOF {
        *isEOF = true
        err = nil
    } else if err != nil { //如果读取失败返回错误
        return nil, err
    }
    line = bytes.TrimLeftFunc(line, unicode.IsSpace)
    return line, err

}

解析section的名字

//解析section的名字
func parseSecName(line []byte, cfg *config) (string, error) {
    close := bytes.LastIndexByte(line, ']') //获得最后‘]’的下标
    if close == -1 {                        //如果缺少‘]’，报错
        return "", fmt.Errorf("unclosed section: %s", line)
    }
    secName := string(line[1:close]) //获取section的名字
    err := cfg.newSection(secName)   //开辟新空间并获得错误信息
    if err != nil {                  //如果存在错误，返回错误信息
        return "", err
    }
    return secName, nil
}

解析key的名字

//解析key的名字
func parseKeyName(line string) (string, int, error) {
    end := strings.IndexAny(line, keyValueDelim) //确定key-alue的分割符的下标
    if end < 0 {                                 //如果下表<0，即存在错误
        return "", -1, fmt.Errorf("delimiter(%s) not found", keyValueDelim)
    }
    return strings.TrimSpace(line[0:end]), end + 1, nil //这里返回的下标为分割符下标+1
}

解析value

//解析value
func parseValue(line string) (string, error) {
    line = strings.TrimSpace(line) //去空格
    if len(line) == 0 {            //如果长度为0
        return "", nil
    }
    i := strings.IndexAny(line, "#;") //处理一种情况‘key = value # this is comment’也就是注释在语句后方
    if i > -1 {
        line = strings.TrimSpace(line[:i])

    }
    return line, nil //由于之前直接返回的是key-value分割符下标+1，就是value开始的地方
}

解析函数

func parse(reader *bufio.Reader) (*config, error) {
    var cfg config
    cfg.init()     //初始化
    isEOF := false //文件是否关闭
    secName := defaultSection
    for !isEOF { //如果文件没有关闭则执行循环
        line, err := getLine(reader, &isEOF)
        if err != nil {
            return nil, err
        }
        if len(line) == 0 { //跳过空行
            continue
        }
        if line[0] == notes[0] { //跳过注释
            continue
        }
        if line[0] == '[' { //如果第0位是‘[’，即secname的前面一位
            secName, err = parseSecName(line, &cfg) //解析secname
            if err != nil {                         //如果解析错误返回错误
                return nil, err
            }
            continue
        }
        if len(cfg.sectionList) == 0 { //没有空间则开辟新空间
            err = cfg.newSection(secName)
            if err != nil {
                return nil, err
            }
        }
        keyName, offset, err := parseKeyName(string(line)) //解析keyname
        if err != nil {
            return nil, err
        }
        value, err := parseValue(string(line[offset:])) //解析value
        if err != nil {
            return nil, err
        }
        err = cfg.sections[secName].newKeyValue(keyName, value) //存key和value
        if err != nil {
            return nil, err
        }
    }
    return &cfg, nil
}


func (sec *section) newKeyValue(keyName string, value string) error {
    if _, ok := sec.keyValue[keyName]; ok {
        return fmt.Errorf("key(%v) already exists", keyName)
    }
    sec.keyValue[keyName] = value
    return nil
}

接下来是单元测试文件：

下面是对于几个核心函数的测试
测试parseSecName函数：

func TestParseSecName(t *testing.T) {
    var cfg Config
    var e error
    cfg.init()
    secName := defaultSection
    var line []byte
    line = []byte("[paths]")
    secName, e = parseSecName(line, &cfg)

    ex1 := "paths"

    var ex2 error

    if secName != ex1 {
        t.Errorf("ex1 wrong, '%s'", secName)
    }
    if e != ex2 {
        t.Errorf("ex2 wrong, '%s'", e)
    }

}

测试parseKeyName函数：

func TestParsekey(t *testing.T) {
    line := "app_mode = development"
    keyName, offset, err := parseKeyName(string(line))
    ex1, ex2 := "app_mode", 10
    var ex3 error
    if keyName != ex1 {
        t.Errorf("ex1 wrong")
    }
    if offset != ex2 {
        t.Errorf("ex2 wrong")
    }
    if err != ex3 {
        t.Errorf("ex3 wrong")
    }
}

测试parseValue函数：

func TestParseValue(t *testing.T) {
    line := "app_mode = development"
    value, err := parseValue(string(line[10:]))
    ex1 := "development"
    var ex2 error
    if value != ex1 {
        t.Errorf("ex1 wrong")
    }
    if err != ex2 {
        t.Errorf("ex2 wrong")
    }

}

测试parse函数：

func TestParse(t *testing.T) {
    var e error
    f, err := os.Open("./testdata/test.ini")
    if e != err {
        t.Errorf("open file filed")
    }
    defer f.Close()
    buf := bufio.NewReader(f)
    _, erro := parse(buf)
    if erro != e {
        t.Errorf("parse filed")
    }

}

测试结果：

生成API文档

先通过指令go get golang.org/x/tools/cmd/godoc来安装godoc。

然后执行godoc
在浏览器打开https://localhost:6060/pkg/

之后保存

实验测试：

需要先安装fsnotify

测试所用代码：
main函数：

func main() {
    cfg, err := configuration.Load("test.ini")
    if err != nil {
        fmt.Println(err)
        return
    }
    printCfg(cfg)

    var lis configuration.ListenFunc = func(filename string) {
        watcher, err := fsnotify.NewWatcher()
        if err != nil {
            log.Fatal(err)
        }
        defer watcher.Close()
        done := make(chan bool)
        go func() {
            for {
                select {
                case event, ok := <-watcher.Events:
                    if !ok {
                        return
                    }
                    if event.Op&fsnotify.Write == fsnotify.Write {
                        return
                    }
                    done <- true
                    return
                case err, ok := <-watcher.Errors:
                    if !ok {
                        return
                    }
                    log.Println("error:", err)
                }
            }
        }()
        watcher.Add(filename)
        <-done
    }
    cfg, err = configuration.Watch("test.ini", lis)
    if err != nil {
        fmt.Println(err)
        return
    }
    fmt.Println("")
    fmt.Println("after change:")
    printCfg(cfg)

}

打印函数：

func printCfg(cfg *configuration.Config) {
    for _, secName := range cfg.SectionList {
        sec := cfg.Sections[secName]
        fmt.Printf("[%s]\n", secName)
        for _, key := range sec.KeyList {
            fmt.Printf("%s = %s\n", key, sec.KeyValue[key])
        }
    }
}

更改文件前：

更改文件后：

输出：

测试成功！

代码地址

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 200,527评论 5赞 470
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 84,314评论 2赞 377
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 147,535评论 0赞 332
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,006评论 1赞 272
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,961评论 5赞 360
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,220评论 1赞 277
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,664评论 3赞 392
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,351评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,481评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,397评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,443评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,123评论 3赞 315
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,713评论 3赞 303
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,801评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,010评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,494评论 2赞 346
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,075评论 2赞 341