美文网首页
go yaml 和 k8s yaml 混用踩坑

go yaml 和 k8s yaml 混用踩坑

作者: 克罗地亚催眠曲 | 来源:发表于2023-11-03 13:59 被阅读0次

    云原生相关的项目避免不了和 yaml 打交道。go 没有内置对 yaml 格式的支持,比较常用的 go-yaml 这个库,这个库可以用进行日常的 marshal 和 unmarshal。
    k8s 自身也常和 yaml 打交道,所以 k8s 提供了一个 sigs.k8s.io/yaml 库。这个库自身也是基于 go-yaml,所以文档中也说明了 k8syaml 支持 go-yaml 的全部功能。

    我们在一个项目中一开始引入的是 go-yaml 的依赖,后来引入了 k8syaml 依赖,导致在代码的不同模块中分别使用两个模块进行序列化和反序列化,最终触发了一个系统 bug,该 bug 的表现一个配置项原本没有发生变化,但是系统会显示为发生了变化。经过 debug 才发现是由于在旧值和新值分别使用了 go-yaml 和 k8s yaml 进行了初始化导致的。
    我们写一小段代码进行验证一下,发现由于 k8syaml 会先将 data 转为 json 再 unmarshal,导致 Value 的类型为 float64,而直接使用 go-yaml 中话,Value 的类型则是 int。

    k8s-yaml Unmarshal 出来的类型之所以为 float64,也不是做了什么魔法,仅仅是先 unmarshal 到 json 导致的,我们直接使用 json unmarshal 的话,Value 的类型也是 float64。不过 json 提供了 decode 提供了选项 UseNumger() 的选项来处理此行为。

    其实 k8syaml 的这个行为在文档中也有明确说明,只是之前没有触碰到这个先转为 json 再转为 yaml 的问题,算是踩了一次坑。

    package main
    
    import (
        "bytes"
        "encoding/json"
        "fmt"
        "reflect"
    
        "gopkg.in/yaml.v3"
        k8syaml "sigs.k8s.io/yaml"
    )
    
    func MustUnmarshalJSON(data []byte, o interface{}, useNumber bool) {
        var dec = json.NewDecoder(bytes.NewReader(data))
        if useNumber {
            dec.UseNumber()
        }
        err := dec.Decode(o)
        if err != nil {
            panic(err)
        }
    }
    
    const (
        DefaultYaml = iota
        K8SYaml
    )
    
    func MustUnmarshalYAML(data []byte, o interface{}, yamlType int, opts ...k8syaml.JSONOpt) {
        var err error
        switch yamlType {
        case DefaultYaml:
            err = yaml.Unmarshal(data, o)
        case K8SYaml:
            err = k8syaml.Unmarshal(data, o, opts...)
        default:
            panic(fmt.Errorf("unknown yamlType %v", yamlType))
        }
        if err != nil {
            panic(err)
        }
    }
    
    var useNumberOpt = func(d *json.Decoder) *json.Decoder {
        d.UseNumber()
        return d
    }
    
    func main() {
        type data struct {
            yaml string
            json string
        }
        type dd struct {
            Value interface{} `yaml:"value"`
        }
        for _, o := range []data{
            {
                yaml: `value: 7`,
                json: `{"value": 7}`,
            },
            {
                yaml: `value: 7.4`,
                json: `{"value":7.4}`,
            },
        } {
            var d dd
            fmt.Printf("Input:%+v\n", o)
            MustUnmarshalJSON([]byte(o.json), &d, false)
            fmt.Printf("JSON Unmarshal Default: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
            MustUnmarshalJSON([]byte(o.json), &d, true)
            fmt.Printf("JSON Unmarshal UseNumber: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    
            MustUnmarshalYAML([]byte(o.yaml), &d, DefaultYaml)
            fmt.Printf("Default YAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    
            MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml)
            fmt.Printf("K8SYAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    
            MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml, useNumberOpt)
            fmt.Printf("K8SYAML Unmarshal With JSONOpt %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
        }
    }
    

    相关文章

      网友评论

          本文标题:go yaml 和 k8s yaml 混用踩坑

          本文链接:https://www.haomeiwen.com/subject/cwloidtx.html