多图详解万星 Restful 框架原理与实现

rest框架概览

我们先通过 go-zero 自带的命令行工具 goctl 来生成一个 api service,其 main 函数如下:

func main() {
    flag.Parse()

    var c config.Config
    conf.MustLoad(*configFile, &c)

    ctx := svc.NewServiceContext(c)
    server := rest.MustNewServer(c.RestConf)
    defer server.Stop()

    handler.RegisterHandlers(server, ctx)

    fmt.Printf("Starting server at %s:%d...\n", c.Host, c.Port)
    server.Start()
}
  1. 解析配置文件
  2. 将配置文件传入,初始化 serviceContext
  3. 初始化 rest server
  4. context 注入 server 中:
    1. 注册路由
    2. context 中的启动的 endpoint 同时注入到 router 当中
  5. 启动 server

接下来我们来一步步讲解其设计原理!Let's Go!

web框架

从日常开发经验来说,一个好的 web 框架大致需要满足以下特性:

  1. 路由匹配/多路由支持
  2. 支持自定义中间件
  3. 框架和业务开发完全解耦,方便开发者快速开发
  4. 参数校验/匹配
  5. 监控/日志/指标等服务自查功能
  6. 服务自保护(熔断/限流)

go-zero rest设计

https://github.com/zeromicro/go-zero/tree/master/rest

概览

  1. 借助 context (不同于 gin 的 context),将资源初始化好 → 保存在 serviveCtx 中,在 handler 中共享(至于资源池化,交给资源自己处理,serviveCtx 只是入口和共享点)
  2. 独立 router 声明文件,同时加入 router group 的概念,方便开发者整理代码结构
  3. 内置若干中间件:监控/熔断/鉴权等
  4. 利用 goctl codegen + option 设计模式,方便开发者自己控制部分中间件的接入
image

上图描述了 rest 处理请求的模式和大部分处理路径。

  1. 框架内置的中间件已经帮开发者解决了大部分服务自处理的逻辑
  2. 同时 go-zero 在 business logic 处也给予开发者开箱即用的组件(dq、fx 等)
  3. 从开发模式上帮助开发者只需要关注自己的 business logic 以及所需资源准备

下面我们来细说一下整个 rest 是如何启动的?

启动流程

image

上图描述了整体 server 启动经过的模块和大致流程。准备按照如下流程分析 rest 实现:

  1. 基于 http.server 封装以及改造:把 engine(web框架核心) 和 option 隔离开
  2. 多路由匹配采取 radix-tree 构造
  3. 中间件采用洋葱模型 → []Middleware
  4. http parse 解析以及匹配校验 → httpx.Parse()
  5. 在请求过程会收集指标 (createMetrics()) 以及监控埋点 (prometheus)

server engine封装

image

点开大图观看

engine 贯穿整个 server 生命周期中:

  1. router 会携带开发者定义的 path/handler,会在最后的 router.handle() 执行
  2. 注册的自定义中间件 + 框架中间件,在 router handler logic 前执行

在这里:go-zero 处理的粒度在 route 上,封装和处理都在 route 一层层执行

路由匹配

那么当 request 到来,首先是如何到路由这一层的?

首先在开发最原始的 http server ,都有这么一段代码:

type helloHandler struct{}

func (h *helloHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
    w.Write([]byte("Hello, world!"))
}

func main() {
    http.Handle("/", &helloHandler{})
    http.ListenAndServe(":12345", nil)
}

http.ListenAndServe() 内部会执行到:server.ListenAndServe()

我们看看在 rest 里面是怎么运用的:

image

而传入的 handler 其实就是:router.NewRouter() 生成的 router。这个 router 承载了整个 server 的处理函数集合。

同时 http.Server 结构在初始化时,是把 handler 注入到里面的:

type Server struct {
    ...
    Handler Handler
}

func start(..., handler http.Handler, run func(srv *http.Server) error) (err error) {
    server := &http.Server{
        Addr:    fmt.Sprintf("%s:%d", host, port),
        Handler: handler,
    }
    ...
    return run(server)
}

在 http.Server 接收 req 后,最终执行的也是:handler.ServeHTTP(rw, req)

image

所以内置的 router 也需要实现 ServeHTTP 。至于 router 自己是怎么实现 ServeHTTP :无外乎就是寻找匹配路由,然后执行路由对应的 handle logic。

解析参数

解析参数是 http 框架需要提供的基本能力。在 goctl code gen 生成的代码中,handler 层已经集成了 req argument parse 函数:

// generate by goctl
func QueryAllTaskHandler(ctx *svc.ServiceContext) http.HandlerFunc {
    return func(w http.ResponseWriter, r *http.Request) {
        // custom request in .api file
        var req types.QueryAllTaskRequest
        // parse http request
        if err := httpx.Parse(r, &req); err != nil {
            httpx.Error(w, err)
            return
        }

        l := logic.NewEventLogic(r.Context(), ctx)
        resp, err := l.QueryAllTask(req)
        baseresponse.FormatResponseWithRequest(resp, err, w, r)
    }
}

进入到 httpx.Parse() ,主要解析以下几块:

https://github.com/zeromicro/go-zero/blob/master/rest/httpx/requests.go#L32:6

  1. 解析path
  2. 解析form表单
  3. 解析http header
  4. 解析json

Parse() 中的 参数校验 的功能见:

https://go-zero.dev/cn/api-grammar.html 中的 tag修饰符

Tips

学习源码推荐 fork 出来边看边写注释和心得,可以加深理解,以后用到这块功能的时候也可以回头翻阅。

项目地址

https://github.com/zeromicro/go-zero

欢迎使用 go-zerostar 支持我们!

微信交流群

关注『微服务实践』公众号并点击 交流群 获取社区群二维码。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容