你還在手撕微服務(wù)？快試試 go-zero 的微服務(wù)自動(dòng)生成

0. 為什么說(shuō)做好微服務(wù)很難？

要想做好微服務(wù)，我們需要理解和掌握的知識(shí)點(diǎn)非常多，從幾個(gè)維度上來(lái)說(shuō)：

  • 基本功能層面

    1. 并發(fā)控制&限流，避免服務(wù)被突發(fā)流量擊垮
    2. 服務(wù)注冊(cè)與服務(wù)發(fā)現(xiàn)，確保能夠動(dòng)態(tài)偵測(cè)增減的節(jié)點(diǎn)
    3. 負(fù)載均衡，需要根據(jù)節(jié)點(diǎn)承受能力分發(fā)流量
    4. 超時(shí)控制，避免對(duì)已超時(shí)請(qǐng)求做無(wú)用功
    5. 熔斷設(shè)計(jì)，快速失敗，保障故障節(jié)點(diǎn)的恢復(fù)能力

  • 高階功能層面

    1. 請(qǐng)求認(rèn)證，確保每個(gè)用戶(hù)只能訪(fǎng)問(wèn)自己的數(shù)據(jù)
    2. 鏈路追蹤，用于理解整個(gè)系統(tǒng)和快速定位特定請(qǐng)求的問(wèn)題
    3. 日志，用于數(shù)據(jù)收集和問(wèn)題定位
    4. 可觀測(cè)性，沒(méi)有度量就沒(méi)有優(yōu)化

對(duì)于其中每一點(diǎn)，我們都需要用很長(zhǎng)的篇幅來(lái)講述其原理和實(shí)現(xiàn)，那么對(duì)我們后端開(kāi)發(fā)者來(lái)說(shuō)，要想把這些知識(shí)點(diǎn)都掌握并落實(shí)到業(yè)務(wù)系統(tǒng)里，難度是非常大的，不過(guò)我們可以依賴(lài)已經(jīng)被大流量驗(yàn)證過(guò)的框架體系。go-zero微服務(wù)框架就是為此而生。

另外，我們始終秉承工具大于約定和文檔的理念。我們希望盡可能減少開(kāi)發(fā)人員的心智負(fù)擔(dān)，把精力都投入到產(chǎn)生業(yè)務(wù)價(jià)值的代碼上，減少重復(fù)代碼的編寫(xiě)，所以我們開(kāi)發(fā)了goctl工具。

下面我通過(guò)書(shū)店服務(wù)來(lái)演示通過(guò)go-zero快速的創(chuàng)建微服務(wù)的流程，走完一遍，你就會(huì)發(fā)現(xiàn)：原來(lái)編寫(xiě)微服務(wù)如此簡(jiǎn)單！

1. 書(shū)店服務(wù)示例簡(jiǎn)介

為了教程簡(jiǎn)單，我們用書(shū)店服務(wù)做示例，并且只實(shí)現(xiàn)其中的增加書(shū)目和檢查價(jià)格功能。

寫(xiě)此書(shū)店服務(wù)是為了從整體上演示go-zero構(gòu)建完整微服務(wù)的過(guò)程，實(shí)現(xiàn)細(xì)節(jié)盡可能簡(jiǎn)化了。

2. 書(shū)店微服務(wù)架構(gòu)圖

architecture

3. goctl各層代碼生成一覽

所有綠色背景的功能模塊是自動(dòng)生成的，按需激活，紅色模塊是需要自己寫(xiě)的，也就是增加下依賴(lài)，編寫(xiě)業(yè)務(wù)特有邏輯，各層示意圖分別如下：

  • API Gateway
api
  • RPC
rpc
  • model
model

下面我們來(lái)一起完整走一遍快速構(gòu)建微服務(wù)的流程，Let’s Go!???♂?

4. 準(zhǔn)備工作

  • 安裝etcd, mysql, redis

  • 安裝goctl工具

    GO111MODULE=on GOPROXY=https://goproxy.cn/,direct go get -u github.com/tal-tech/go-zero/tools/goctl

  • 創(chuàng)建工作目錄bookstore

  • 在bookstore目錄下執(zhí)行go mod init bookstore初始化go.mod

5. 編寫(xiě)API Gateway代碼

  • 在bookstore/api目錄下通過(guò)goctl生成api/bookstore.api：

    goctl api -o bookstore.api

    編輯bookstore.api，為了簡(jiǎn)潔，去除了文件開(kāi)頭的info，代碼如下：

    type (
    addReq struct {
        book  string `form:"book"`
        price int64  `form:"price"`
    }

    addResp struct {
        ok bool `json:"ok"`
    }
)

type (
    checkReq struct {
        book string `form:"book"`
    }

    checkResp struct {
        found bool  `json:"found"`
        price int64 `json:"price"`
    }
)

service bookstore-api {
    @server(
        handler: AddHandler
    )
    get /add(addReq) returns(addResp)

    @server(
        handler: CheckHandler
    )
    get /check(checkReq) returns(checkResp)
}

    type用法和go一致，service用來(lái)定義get/post/head/delete等api請(qǐng)求，解釋如下：

    • service bookstore-api {這一行定義了service名字
    • @server部分用來(lái)定義server端用到的屬性
    • handler定義了服務(wù)端handler名字
    • get /add(addReq) returns(addResp)定義了get方法的路由、請(qǐng)求參數(shù)、返回參數(shù)等

  • 使用goctl生成API Gateway代碼

    goctl api go -api bookstore.api -dir .

    生成的文件結(jié)構(gòu)如下：

    api
├── bookstore.api                  // api定義
├── bookstore.go                   // main入口定義
├── etc
│   └── bookstore-api.yaml         // 配置文件
└── internal
    ├── config
    │   └── config.go              // 定義配置
    ├── handler
    │   ├── addhandler.go          // 實(shí)現(xiàn)addHandler
    │   ├── checkhandler.go        // 實(shí)現(xiàn)checkHandler
    │   └── routes.go              // 定義路由處理
    ├── logic
    │   ├── addlogic.go            // 實(shí)現(xiàn)AddLogic
    │   └── checklogic.go          // 實(shí)現(xiàn)CheckLogic
    ├── svc
    │   └── servicecontext.go      // 定義ServiceContext
    └── types
        └── types.go               // 定義請(qǐng)求、返回結(jié)構(gòu)體

  • 啟動(dòng)API Gateway服務(wù)，默認(rèn)偵聽(tīng)在8888端口

    go run bookstore.go -f etc/bookstore-api.yaml

  • 測(cè)試API Gateway服務(wù)

    curl -i "http://localhost:8888/check?book=go-zero"

    返回如下：

    HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 06:46:18 GMT
Content-Length: 25

{"found":false,"price":0}

    可以看到我們API Gateway其實(shí)啥也沒(méi)干，就返回了個(gè)空值，接下來(lái)我們會(huì)在rpc服務(wù)里實(shí)現(xiàn)業(yè)務(wù)邏輯

  • 可以修改internal/svc/servicecontext.go來(lái)傳遞服務(wù)依賴(lài)（如果需要）

  • 實(shí)現(xiàn)邏輯可以修改internal/logic下的對(duì)應(yīng)文件

  • 可以通過(guò)goctl生成各種客戶(hù)端語(yǔ)言的api調(diào)用代碼

  • 到這里，你已經(jīng)可以通過(guò)goctl生成客戶(hù)端代碼給客戶(hù)端同學(xué)并行開(kāi)發(fā)了，支持多種語(yǔ)言，詳見(jiàn)文檔

6. 編寫(xiě)add rpc服務(wù)

  • 在rpc/add目錄下編寫(xiě)add.proto文件

    可以通過(guò)命令生成proto文件模板

    goctl rpc template -o add.proto

    修改后文件內(nèi)容如下：

    syntax = "proto3";

package add;

message addReq {
    string book = 1;
    int64 price = 2;
}

message addResp {
    bool ok = 1;
}

service adder {
    rpc add(addReq) returns(addResp);
}

  • 用goctl生成rpc代碼，在rpc/add目錄下執(zhí)行命令

    goctl rpc proto -src add.proto

    文件結(jié)構(gòu)如下：

    rpc/add
├── add.go                      // rpc服務(wù)main函數(shù)
├── add.proto                   // rpc接口定義
├── adder
│   ├── adder.go                // 提供了外部調(diào)用方法，無(wú)需修改
│   ├── adder_mock.go           // mock方法，測(cè)試用
│   └── types.go                // request/response結(jié)構(gòu)體定義
├── etc
│   └── add.yaml                // 配置文件
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── addlogic.go         // add業(yè)務(wù)邏輯在這里實(shí)現(xiàn)
│   ├── server
│   │   └── adderserver.go      // 調(diào)用入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴(lài)
└── pb
    └── add.pb.go

直接可以運(yùn)行，如下：

  $ go run add.go -f etc/add.yaml
  Starting rpc server at 127.0.0.1:8080...

etc/add.yaml文件里可以修改偵聽(tīng)端口等配置

7. 編寫(xiě)check rpc服務(wù)

  • 在rpc/check目錄下編寫(xiě)check.proto文件

    可以通過(guò)命令生成proto文件模板

    goctl rpc template -o check.proto

    修改后文件內(nèi)容如下：

    syntax = "proto3";

package check;

message checkReq {
    string book = 1;
}

message checkResp {
    bool found = 1;
    int64 price = 2;
}

service checker {
    rpc check(checkReq) returns(checkResp);
}

  • 用goctl生成rpc代碼，在rpc/check目錄下執(zhí)行命令

    goctl rpc proto -src check.proto

    文件結(jié)構(gòu)如下：

    rpc/check
├── check.go                    // rpc服務(wù)main函數(shù)
├── check.proto                 // rpc接口定義
├── checker
│   ├── checker.go              // 提供了外部調(diào)用方法，無(wú)需修改
│   ├── checker_mock.go         // mock方法，測(cè)試用
│   └── types.go                // request/response結(jié)構(gòu)體定義
├── etc
│   └── check.yaml              // 配置文件
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── checklogic.go       // check業(yè)務(wù)邏輯在這里實(shí)現(xiàn)
│   ├── server
│   │   └── checkerserver.go    // 調(diào)用入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴(lài)
└── pb
    └── check.pb.go

    etc/check.yaml文件里可以修改偵聽(tīng)端口等配置

    需要修改etc/check.yaml的端口為8081，因?yàn)?code>8080已經(jīng)被add服務(wù)使用了，直接可以運(yùn)行，如下：

    $ go run check.go -f etc/check.yaml
Starting rpc server at 127.0.0.1:8081...

8. 修改API Gateway代碼調(diào)用add/check rpc服務(wù)

  • 修改配置文件bookstore-api.yaml，增加如下內(nèi)容

    Add:
  Etcd:
    Hosts:
      - localhost:2379
    Key: add.rpc
Check:
  Etcd:
    Hosts:
      - localhost:2379
    Key: check.rpc

    通過(guò)etcd自動(dòng)去發(fā)現(xiàn)可用的add/check服務(wù)

  • 修改internal/config/config.go如下，增加add/check服務(wù)依賴(lài)

    type Config struct {
    rest.RestConf
    Add   rpcx.RpcClientConf     // 手動(dòng)代碼
    Check rpcx.RpcClientConf     // 手動(dòng)代碼
}

  • 修改internal/svc/servicecontext.go，如下：

    type ServiceContext struct {
    Config  config.Config
    Adder   adder.Adder          // 手動(dòng)代碼
    Checker checker.Checker      // 手動(dòng)代碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        Config:  c,
        Adder:   adder.NewAdder(rpcx.MustNewClient(c.Add)),         // 手動(dòng)代碼
        Checker: checker.NewChecker(rpcx.MustNewClient(c.Check)),   // 手動(dòng)代碼
    }
}

    通過(guò)ServiceContext在不同業(yè)務(wù)邏輯之間傳遞依賴(lài)

  • 修改internal/logic/addlogic.go里的Add方法，如下：

    func (l *AddLogic) Add(req types.AddReq) (*types.AddResp, error) {
    // 手動(dòng)代碼開(kāi)始
    resp, err := l.svcCtx.Adder.Add(l.ctx, &adder.AddReq{
        Book:  req.Book,
        Price: req.Price,
    })
    if err != nil {
        return nil, err
    }

    return &types.AddResp{
        Ok: resp.Ok,
    }, nil
    // 手動(dòng)代碼結(jié)束
}

    通過(guò)調(diào)用adder的Add方法實(shí)現(xiàn)添加圖書(shū)到bookstore系統(tǒng)

  • 修改internal/logic/checklogic.go里的Check方法，如下：

    func (l *CheckLogic) Check(req types.CheckReq) (*types.CheckResp, error) {
    // 手動(dòng)代碼開(kāi)始
    resp, err := l.svcCtx.Checker.Check(l.ctx, &checker.CheckReq{
        Book:  req.Book,
    })
    if err != nil {
        return nil, err
    }

    return &types.CheckResp{
        Found: resp.Found,
        Price: resp.Price,
    }, nil
    // 手動(dòng)代碼結(jié)束
}

    通過(guò)調(diào)用checker的Check方法實(shí)現(xiàn)從bookstore系統(tǒng)中查詢(xún)圖書(shū)的價(jià)格

9. 定義數(shù)據(jù)庫(kù)表結(jié)構(gòu)，并生成CRUD+cache代碼

  • bookstore下創(chuàng)建rpc/model目錄：mkdir -p rpc/model

  • 在rpc/model目錄下編寫(xiě)創(chuàng)建book表的sql文件book.sql，如下：

    CREATE TABLE `book`
(
  `book` varchar(255) NOT NULL COMMENT 'book name',
  `price` int NOT NULL COMMENT 'book price',
  PRIMARY KEY(`book`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

  • 創(chuàng)建DB和table

    create database gozero;

    source book.sql;

  • 在rpc/model目錄下執(zhí)行如下命令生成CRUD+cache代碼，-c表示使用redis cache

    goctl model mysql ddl -c -src book.sql -dir .

    也可以用datasource命令代替ddl來(lái)指定數(shù)據(jù)庫(kù)鏈接直接從schema生成

    生成后的文件結(jié)構(gòu)如下：

    rpc/model
├── bookstore.sql
├── bookstoremodel.go     // CRUD+cache代碼
└── vars.go               // 定義常量和變量

10. 修改add/check rpc代碼調(diào)用crud+cache代碼

  • 修改rpc/add/etc/add.yaml和rpc/check/etc/check.yaml，增加如下內(nèi)容：

    DataSource: root:@tcp(localhost:3306)/gozero
Table: book
Cache:
  - Host: localhost:6379

    可以使用多個(gè)redis作為cache，支持redis單點(diǎn)或者redis集群

  • 修改rpc/add/internal/config.go和rpc/check/internal/config.go，如下：

    type Config struct {
    rpcx.RpcServerConf
    DataSource string             // 手動(dòng)代碼
    Table      string             // 手動(dòng)代碼
    Cache      cache.CacheConf    // 手動(dòng)代碼
}

    增加了mysql和redis cache配置

  • 修改rpc/add/internal/svc/servicecontext.go和rpc/check/internal/svc/servicecontext.go，如下：

    type ServiceContext struct {
    c     config.Config
    Model *model.BookModel   // 手動(dòng)代碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        c:             c,
        Model: model.NewBookModel(sqlx.NewMysql(c.DataSource), c.Cache, c.Table), // 手動(dòng)代碼
    }
}

  • 修改rpc/add/internal/logic/addlogic.go，如下：

    func (l *AddLogic) Add(in *add.AddReq) (*add.AddResp, error) {
    // 手動(dòng)代碼開(kāi)始
    _, err := l.svcCtx.Model.Insert(model.Book{
        Book:  in.Book,
        Price: in.Price,
    })
    if err != nil {
        return nil, err
    }

    return &add.AddResp{
        Ok: true,
    }, nil
    // 手動(dòng)代碼結(jié)束
}

  • 修改rpc/check/internal/logic/checklogic.go，如下：

    func (l *CheckLogic) Check(in *check.CheckReq) (*check.CheckResp, error) {
    // 手動(dòng)代碼開(kāi)始
    resp, err := l.svcCtx.Model.FindOne(in.Book)
    if err != nil {
        return nil, err
    }

    return &check.CheckResp{
        Found: true,
        Price: resp.Price,
    }, nil
    // 手動(dòng)代碼結(jié)束
}

    至此代碼修改完成，凡事手動(dòng)修改的代碼我加了標(biāo)注

11. 完整調(diào)用演示

  • add api調(diào)用

    curl -i "http://localhost:8888/add?book=go-zero&price=10"

    返回如下：

    HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:42:13 GMT
Content-Length: 11

{"ok":true}

  • check api調(diào)用

    curl -i "http://localhost:8888/check?book=go-zero"

    返回如下：

    HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:47:34 GMT
Content-Length: 25

{"found":true,"price":10}

12. Benchmark

因?yàn)閷?xiě)入依賴(lài)于mysql的寫(xiě)入速度，就相當(dāng)于壓mysql了，所以壓測(cè)只測(cè)試了check接口，相當(dāng)于從mysql里讀取并利用緩存，為了方便，直接壓這一本書(shū)，因?yàn)橛芯彺?，多本?shū)也是一樣的，對(duì)壓測(cè)結(jié)果沒(méi)有影響。

壓測(cè)之前，讓我們先把打開(kāi)文件句柄數(shù)調(diào)大：

ulimit -n 20000

并日志的等級(jí)改為error，防止過(guò)多的info影響壓測(cè)結(jié)果，在每個(gè)yaml配置文件里加上如下：

Log:
    Level: error
benchmark

可以看出在我的MacBook Pro上能達(dá)到3萬(wàn)+的qps。

13. 完整代碼

https://github.com/tal-tech/go-zero/tree/master/example/bookstore

14. 總結(jié)

我們一直強(qiáng)調(diào)工具大于約定和文檔。

go-zero不只是一個(gè)框架，更是一個(gè)建立在框架+工具基礎(chǔ)上的，簡(jiǎn)化和規(guī)范了整個(gè)微服務(wù)構(gòu)建的技術(shù)體系。

我們?cè)诒３趾?jiǎn)單的同時(shí)也盡可能把微服務(wù)治理的復(fù)雜度封裝到了框架內(nèi)部，極大的降低了開(kāi)發(fā)人員的心智負(fù)擔(dān)，使得業(yè)務(wù)開(kāi)發(fā)得以快速推進(jìn)。

通過(guò)go-zero+goctl生成的代碼，包含了微服務(wù)治理的各種組件，包括：并發(fā)控制、自適應(yīng)熔斷、自適應(yīng)降載、自動(dòng)緩存控制等，可以輕松部署以承載巨大訪(fǎng)問(wèn)量。

有任何好的提升工程效率的想法，隨時(shí)歡迎交流！??

15. 項(xiàng)目地址

https://github.com/tal-tech/go-zero

16. 微信交流群

添加我的微信：kevwan，請(qǐng)注明go-zero，我拉進(jìn)go-zero社區(qū)群??

好未來(lái)技術(shù)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容