go1.12下Go mod使用实践

作者: 会飞的鲶鱼 | 来源:发表于2019-06-18 08:33 被阅读99次

    Go Module是Go会在1.12中正式推出的包管理机制。

    Go mod 简介

    Golang一直存在一个被人诟病的问题是缺少一个官方的包依赖管理工具。从我个人的角度上来看存在两个问题:

    1. GOPATH特性对于多工程的情况下,支持不算友好。
    2. GOPATH无法对依赖包进行有效的版本管理,没有任何地方能够表明依赖包的具体版本号,无法简单清晰获取到有效的依赖包版本信息等。

    在Go1.11时,官方推出了go mod作为官方的依赖管理工具。而go mod与之前的利用vendor特性的依赖管理工具的不同点在于,go mod 更类似于maven这种本地缓存库的管理方式,不论你有多少个工程,只要你引用的依赖的版本是一致的,那么在本地就只会有一份依赖文件的存在。而vendor即使依赖的版本是相同的,但如果在不同的工程中进行了引用,也会在工程目录下的vendor产生一份依赖文件。

    所以Golang在1.11版本中引入了go mod机制,在统一的位置对依赖进行管理。

    go mod不同于以往基于GOPATH和Vendor的构建方式,其主要是通过GOPATH/pkg/mod下的缓存包来对工程进行构建。在Go 1.11中已经可以使用,同以往新添加的功能一样,go mod 可以通过GO111MODULE来控制是否启用,GO111MODULE有一下三种类型。

    • on 所有的构建,都使用Module机制
    • off 所有的构建,都不使用Module机制,而是使用GOPATH和Vendor
    • auto 在GOPATH下的工程,不使用Module机制,不在GOPATH下的工程使用

    Go mod化处理步骤

    这里我主要说一下,对旧工程如何进行go mod化处理。通过网上搜索的文档加上自我实践,我总结成了以下三个步骤。对于新工程的处理可直接从第二部分开始。

    • 将需要进行版本管理的代码从GOPATH路径下移出
    • 在项目的根目录下使用命令go mod init projectName
    • 在该目录下执行go build main.go

    从GOPATH中移出工程

    这一步其实是不一定需要的,不过个人认为可以将工程从GOPATH下移出,单独存放。只在GOPATH/pkg/mod目录下只存放依赖文件。

    在go1.12环境下,我试验了一下环境变量GO111MODULE还是起作用的。但是编译时默认为使用Module机制进行编译(即GO111MODULE=on)。

    1. 如果工程中存在go.mod文件,编译时是从GOPATH/pkg/mod下查找依赖。
    2. 如果主动使用export GO111MODULE=off命令不使用Module机制,进行编译就会从GOPATH/src下查找依赖。会产生以下输出。(编译失败是由于相应目录下无依赖文件)
        /usr/local/Cellar/go/1.12.5/libexec/src/golang.org/x/tools/internal/tool (from $GOROOT)
        /Users/dx/go/src/golang.org/x/tools/internal/tool (from $GOPATH)
    

    初始化go mod

    在这一步根据我的实践,需要说一下。一般网上的资料都是建议在工程的根目录下执行go mod init projectName命令。在执行go mod化之后,所有的引用都不再是以GOPATH为相对路径的引用了,而是变成了以go.mod中初始化的项目名为起始的引用。

    示例:

    未使用go mod前,当前工程路径和GOPATH为workspace/testmod,即当前工程的结构如下:

    ├── bin
    ├── pkg
    └── src
        ├── api
        │   └── supply
        │       └── location
        │           └── location.go
        └── main.go
    

    location.go

    package location
    
    import (
            "fmt"
    )
    
    func Hi(name string) string {
            return fmt.Sprintf("hello %s",name)
    }
    

    在main.go中引用location.go时,import中路径为"api/supply/location"。

    package main
    
    import(
            "api/supply/location"
            "fmt"
    )
    
    func main() {
            fmt.Println(location.Hi("test"))
    }
    

    使用go mod后,当前工程路径为workspace/testmod,在src目录下执行go mod init testmod后,在main.go中引用location.go时,import中路径需要变更为"testmod/api/supply/location",否则编译时会报错build command-line-arguments: cannot load api/supply/location: cannot find module providing package api/supply/location

    go.mod

    module testmod
    
    go 1.12
    

    main.go

    package main
    
    import(
            "api/supply/location"
            "fmt"
    )
    
    func main() {
            fmt.Println(location.Hi("test"))
    }
    

    执行go build拉去依赖并编译

    这一步的主要作用是拉去代码中的依赖文件。将会看到类似如下的输出

    $ go build main.go
    go: finding github.com/mitchellh/go-wordwrap latest
    go: finding github.com/maruel/panicparse/stack latest
    go: finding github.com/nsf/termbox-go latest
    

    再执行完了之后,查看go.mod文件会发现产生了类似如下的内容:

    module github.com/test/testmod
    
    require (
        github.com/gizak/termui v2.2.0+incompatible
        github.com/maruel/panicparse v1.1.1 // indirect
        github.com/mattn/go-runewidth v0.0.3 // indirect
        github.com/mitchellh/go-wordwrap v0.0.0-20180828145344-9e67c67572bc // indirect
        github.com/nsf/termbox-go v0.0.0-20180819125858-b66b20ab708e // indirect
        github.com/spf13/pflag v1.0.2 // indirect
    )
    

    至此,对于一个项目的go mod化就已经完成了。对于go.mod文件中的内容会在下一节进行叙述。

    go mod命令简介

    这个子命令用来处理 go.mod 文件,上一小节我们已经见过 go mod init 了。下面介绍下几个用得到的命令。

    • go mod edit -fmt 格式化 go.mod 文件。

    • go mod edit -require=path@version 添加依赖或修改依赖版本,这里支持模糊匹配版本号,详情可以看下文 go get 的用法。()

    • go mod edit -replace=path1@version=path2@version使用path2路径的包来代替path1路径的包。

      对于国内用户来说,手动维护这个文件是必然的,因为你需要把 golang.org/x/text 替换成 github.com/golang/text。示例

      go mod edit -replace=golang.org/x/sys@v0.0.0-20180830151530-49385e6e1522=github.com/golang/sys@v0.0.0-20180830151530-49385e6e1522

    • go mod tidygo.mod 删除不需要的依赖、新增需要的依赖,这个操作不会改变依赖版本。

    • go mod download命令会根据go.mod文件下载对应的依赖项到GOPATH/pkg/mod路径下。

    go get 命令

    在Go1.11后,可以用此命令来获取依赖的特定版本,可以用来升级和降级依赖。会自动修改 go.mod 文件,而且依赖的依赖版本号也可能会变。在 go.mod 中使用 exclude 排除的包,不能 go get 下来。

    与以前不同的是,新版 go get 可以在末尾加 @ 符号,用来指定版本。go get 命令需在go.mod同级目录下执行,否则会报出错误go: cannot use path@version syntax in GOPATH mode。而且在使用go get下载依赖时,要求仓库必须用 vX.Y.Z 格式打 tag,以下是简单罗列的匹配规则。

    go get github.com/gorilla/mux    # 匹配最新的一个 tag
    go get github.com/gorilla/mux@latest    # 和上面一样
    go get github.com/gorilla/mux@v1.6.2    # 匹配 v1.6.2
    go get github.com/gorilla/mux@e3702bed2 # 匹配 v1.6.2
    go get github.com/gorilla/mux@c856192   # 匹配 c85619274f5d
    go get github.com/gorilla/mux@master    # 匹配 master 分支
    

    latest 匹配最新的 tag。

    v1.2.6 完整版本的写法。

    v1.2 匹配带这个前缀的最新版本,如果最新版是 1.2.7,它们会匹配 1.2.7。

    c856192 版本 hash 前缀、分支名、无语义化的标签,在 go.mod 里都会会使用约定写法 v0.0.0-20180517173623-c85619274f5d,也被称作伪版本。

    go get 可以模糊匹配版本号,但 go.mod 文件只体现完整的版本号,即 v1.2.0、v0.0.0-20180517173623-c85619274f5d,只不过不需要手写这么长的版本号,用 go get 或上文的 go mod edit -require 模糊匹配即可,它会把匹配到的完整版本号写进 go.mod 文件。(在执行go get 命令后,会自动修改go.mod文件)

    go build 命令

    • go build -mod=readonly 防止隐式修改 go.mod,如果遇到有隐式修改的情况会报错,可以用来测试 go.mod 中的依赖是否整洁,但如果明确调用了 go modgo get 命令则依然会导致 go.mod 文件被修改。
    • go build -mod=vendor 在开启模块支持的情况下,用这个可以退回到使用 vendor 的时代。

    使用本地包进行开发测试

    单独把这个拿出来说一下的原因是,基于我们自己项目的一个需求,我们是把一些公共的配置与函数部分统一成了一个单独的公共库,但是在go mod的情况下,就会出现一个问题,每次对公共库的修改测试都需要走提交更新、修改go.mod文件、更新本地依赖才可以进行测试,这样明显是及其不方便的。所以通过查询资料和实践,发现可以通过使用replace使用本地包来进行测试。

    使用本地包代提线上包进行测试的方法,例如修改公共库commons,在go mod中我可以增加一条这样的替换

    replace github.com/test/commons v1.1.1 => /Users/test/Workspace/bizgocommons,这样就把使用的报的路径指向了本地的包,省去了提交修改在下载的麻烦了。

    注意:本地包在使用的时候不需要带上版本信息。

    go mod时遇到的问题

    1. 在工程中go.etcd.io/etcd依赖时,在本地环境(mac)下可以成功编译,放到docker环境下(基础镜像为go1.12)的情况加会出现以下的错误信息。
    verifying go.etcd.io/etcd@v3.3.12+incompatible: checksum mismatch
        downloaded: h1:V6PRYRGpU4k5EajJaaj/GL3hqIdzyPnBU8aPUp+35yw=
        go.sum:     h1:xR2YQOYo5JV5BMrUj9i1kcf2rEbpCQKHH2sKTtpAHiQ=
    

    使用download中的值替换后,即可在docker下成功编译。

    通过实践和上网查询,个人觉得原因是mac和docker环境下下载的etcd是有区别的,可能含有某些操作系统相关的内容。导致两者的校验值不同。

    相关文章

      网友评论

        本文标题:go1.12下Go mod使用实践

        本文链接:https://www.haomeiwen.com/subject/saqxqctx.html