大家好，我叫谢伟，是一名程序员。
最近比较低效...
今天的主题：工程管理
为了写出这一章节，我翻阅了几本书。书中整理的很好，但对初学者不太友好，意思是可能看完就知道个大概。还是不能理解工程管理的具体做法是什么。所以，我呢，摒弃了书中的组织方式，转而使用示例的形式，从头到尾的把工程管理这事说明白。但是考虑到实际中的使用可能不太会事无巨细。希望大家理解。
工程管理主要包括这两方面内容：Go 命令行工具的使用、工程项目的组织
当然，我们这边使用一个例子来演示：爬虫。
两首页的标题信息抓取下来。
主要的概况如下：
- 项目的组织
- 项目库第三方库下载 go get / gopm get -g
- 编写代码
- 测试 go test
- 覆盖率 go tool
- 编译 go build
- 编译并运行 go run
- 编译并生成二进制文件 go install
- 包管理 govendor / vgo
- 文档 godoc
整体的流程，大致和我们的开发息息相关。
1. 项目组织
我们第一节已经见过，我们的工程是如何进行组织的？
1、 设置 GOPATH
2、 GOPATH 下设置三个文件夹：bin、pkg、src
工程的组织即在src 目录下创建文件夹。
比如：这个专题所有的项目都组织在 src/go-example-for-live 目录下
├─go-example-for-live
│ ├─eight
│ ├─eleven
│ │ ├─infra
│ │ └─main
│ ├─fifteen
│ │ ├─download
│ │ ├─engine
│ │ ├─main
│ │ └─parse
│ │ ├─jianshu
│ │ └─v2ex
│ ├─five
│ ├─four
│ ├─fourteen_client
│ │ └─main
│ ├─fourteen_server
│ │ ├─main
│ │ └─ui
│ │ └─api-server
│ ├─Image
│ ├─MarkDown
│ ├─nine
│ │ ├─domain
│ │ ├─download
│ │ ├─engine
│ │ ├─infra
│ │ ├─main
│ │ ├─parse
│ │ │ └─gocn
│ │ ├─static
│ │ │ ├─css
│ │ │ ├─html
│ │ │ └─js
│ │ └─ui
│ │ ├─api-server
│ │ └─parse
│ ├─PowerPoint
│ ├─restful
│ ├─second
│ ├─seven
│ │ ├─download
│ │ ├─engine
│ │ ├─infra
│ │ ├─main
│ │ └─parse
│ │ └─github
│ ├─six
│ ├─ten
│ │ ├─app
│ │ ├─config
│ │ │ └─user-cfg
│ │ ├─ConfigResume
│ │ │ ├─1
│ │ │ │ └─Resume
│ │ │ └─2
│ │ │ └─Resume
│ │ ├─domain
│ │ │ ├─constants
│ │ │ ├─objects
│ │ │ └─roles
│ │ ├─infra
│ │ │ └─golang
│ │ │ ├─execadapter
│ │ │ ├─ioutiladapter
│ │ │ ├─jsonadapter
│ │ │ ├─osadapater
│ │ │ │ └─xiewei
│ │ │ └─yamladapter
│ │ ├─main
│ │ ├─ui
│ │ │ └─service
│ │ └─vendor
│ │ ├─github.com
│ │ │ └─olebedev
│ │ │ └─config
│ │ └─gopkg.in
│ │ └─yaml.v2
│ ├─thirteen
│ │ ├─infra
│ │ └─main
│ ├─three
│ ├─twelve
│ │ └─main
│ └─vendor
│ └─github.com
│ └─urfave
│ └─cli
工程组织...
2. 获取第三方库
- go get
- gopm get
如果我们使用内置库呢，编写代码的使用，直接import 库路径即可。这个路径是在设置的GOROOT 下的 src 目录下的库。
GOROOT=D:\1_System\2_Installation\G_go
D:\1_System\2_Installation\G_go\src
Make.dist bootstrap.bash clean.bat context expvar image make.bash nacltest.bash race.bat runtime testing
all.bash bufio clean.rc crypto flag index make.bat net reflect sort text
all.bat buildall.bash cmd database fmt internal make.rc os regexp strconv time
all.rc builtin cmp.bash debug go io math path run.bash strings unicode
androidtest.bash bytes compress encoding hash iostest.bash mime plugin run.bat sync unsafe
archive clean.bash container errors html log naclmake.bash race.bash run.rc syscall vendor
那获取第三方库呢，我们之前已经讲过，使用 go 的命令行工具即可：
go get ****
比如， 我们爬虫借助了第三方库：
go get github.com/PuerkitoBio/goquery
如果下载速度太慢呢，我们可以使用这个工具，gopm。
首先它也是go 的一个第三库，首先需要下载 gopm
go get -u github.com/gpmgo/gopm
再使用 gopm 下载
gopm get ****
一个字：快
3. 编写代码和测试
- download
- parse
- engine
- main
好，经历前面的学习，项目组织会了，下载第三方库也会了。就差会写代码了。
首先我们分析下需求：抓取信息。
- 获取网页信息：http 请求，返回信息
- 解析需要的信息：正则、xpath、css 等获取网页字段
核心大概就这两点，便可以完成任务。但是我还是建议新手，在写代码之前都能有一套好的项目的组织。
好的项目组织有什么好处呢？
可以参看下这个视频：https://www.youtube.com/watch?v=MzTcsI6tn-0
我提几点：
1、养成好的项目组织风格
2、更好的写代码
3、更好的理解(读)代码
经过上文的分析：我们项目组织成这样（之前的文章也提到过）：
下载器：即获取网页源代码
download
download.go
download_test.go
package download
import (
"errors"
"net/http"
"github.com/PuerkitoBio/goquery"
)
var (
ErrRequest = errors.New("request error")
ErrResponse = errors.New("response error")
)
func GetHtmlResponse(url string) (*goquery.Document, error) {
var (
request *http.Request
err error
)
request, err = http.NewRequest("GET", url, nil)
if err != nil {
return nil, ErrRequest
}
request.Header.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")
var client *http.Client
client = http.DefaultClient
var response *http.Response
response, err = client.Do(request)
if err != nil {
return nil, ErrResponse
}
defer response.Body.Close()
return goquery.NewDocumentFromReader(response.Body)
}
解析器：即解析网页信息
parse
v2ex
job_parse.go
job_parse_test.go
jianshu
info_parse.go
info_parse_test.go
package v2ex
import (
"github.com/PuerkitoBio/goquery"
)
func JobParse(response *goquery.Document) []string {
var title []string
response.Find("div#Main div.box div.cell.item").Each(func(i int, selection *goquery.Selection) {
text := selection.Find("table tbody tr td").Eq(2).Find("span a").Text()
//fmt.Println(text)
title = append(title, text)
})
return title
}
调度器：即调度下载器和解析器，完成指定的网页信息的解析
engine
engine.go
engine_test.go
package engine
import (
"go-example-for-live/fifteen/download"
"errors"
"fmt"
"github.com/PuerkitoBio/goquery"
)
type Request struct {
Url string
ParseFunc func(*goquery.Document) []string
}
type Requests []Request
var (
ErrDownload = errors.New("download err")
)
func Run(seeds ...Request) {
var requests Requests
for _, seed := range seeds {
requests = append(requests, seed)
}
for len(requests) > 0 {
r := requests[0]
requests = requests[1:]
body, err := download.GetHtmlResponse(r.Url)
if err != nil {
fmt.Println(ErrDownload)
continue
}
fmt.Println(r.ParseFunc(body))
}
}
程序入口：main.go
main
main.go
package main
import (
"go-example-for-live/fifteen/engine"
"go-example-for-live/fifteen/parse/jianshu"
"go-example-for-live/fifteen/parse/v2ex"
)
func main() {
engine.Run(
engine.Request{
Url: "https://www.v2ex.com/?tab=jobs",
ParseFunc: v2ex.JobParse,
},
engine.Request{
Url: "https://www.jianshu.com/u/58f0817209aa",
ParseFunc: jianshu.InfoParse,
},
)
}
单元测试，我们不详细列举了。可以使用传统的方法也可以使用表格驱动法，也可以使用第三方库 GoConvey.
4. 运行相关
- go fmt
- go build
- go install
- go run
- go test
- go tool
1、优化代码
go fmt ****
- 调整语句位置
- 调整缩进
- 调整花括号的位置
- 调整空格等
2、构建
好，在上文我们编写完代码和测试用例之后，我们如何把程序分发出去给别人使用的呢？
go build
go build ****
根据库的名称自动编译出符合平台的二进制文件。
比如 在 main 目录下
go build
则目录下自动生存 main.exe 文件。运行即可。
main.exe
[应届生在深圳找不到工作求职DeweyLiuwinglight2016 [杭州][可远程] 一只公司招聘前端...
go install
如何你设置了GOBIN ，即GOPATH 目录下的bin 文件夹。
则运行该命令，自动会在 GOBIN 目录下编译出同文件的二进制文件
# GOBIN
main.exe
go run
编译后运行。即编译完成后，立即执行程序。
go run main.go
好。上文都是编译和运行相关的命令。那测试如何运行？
go test
go test download_test.go 只运行这一个测试文件
go test ./... 运行整个项目下测试文件
λ go test ./...
ok go-example-for-live/fifteen/download 1.436s
ok go-example-for-live/fifteen/engine 0.701s
? go-example-for-live/fifteen/main [no test files]
ok go-example-for-live/fifteen/parse/jianshu 0.690s
ok go-example-for-live/fifteen/parse/v2ex 0.761s
go test -run=TestDownload -v download_test.go 根据匹配规则运行厕所文件内的测试函数
go test -v ./... -cover
获取测试代码覆盖率。
5. 包管理
- govendor
- vgo
项目中使用到了第三方库，如果代码分发出去，不把第三方库文件置入项目中，则他们不能使用，除非重新下载第三方库。
那么如何进行库或者包的管理？
- govendor
1、下载 govendor
2、 项目下 govendor init
3、govendor add +external
即将第三方库拷贝至项目内新建的目录 vendor 下。
├─download
├─engine
├─main
├─parse
│ ├─jianshu
│ └─v2ex
└─vendor
├─github.com
│ └─PuerkitoBio
│ └─goquery
└─golang.org
- vgo
官方主推的工具，我还不太会用。
https://zhuanlan.zhihu.com/p/33926171
6. 文档
- godoc -http=:6060 -goroot="."
如果你写的代码注释比较好，或者你go 官网上不去，仅仅只是想离线观看 go 源代码的文档。
godoc -http:=6060
本地访问 localhost:6060 即可查看所有项目(包括内置库)的文档。
有任何疑问，可以查看所有工具的帮助文档。
- go help
- go tool help
- govendor help
- vogo help
- gopm help
本节完，再会。
希望你们喜欢。我是谢伟。
