美文网首页
go yaml 和 k8s yaml 混用踩坑

go yaml 和 k8s yaml 混用踩坑

作者: 克罗地亚催眠曲 | 来源:发表于2023-11-03 13:59 被阅读0次

云原生相关的项目避免不了和 yaml 打交道。go 没有内置对 yaml 格式的支持,比较常用的 go-yaml 这个库,这个库可以用进行日常的 marshal 和 unmarshal。
k8s 自身也常和 yaml 打交道,所以 k8s 提供了一个 sigs.k8s.io/yaml 库。这个库自身也是基于 go-yaml,所以文档中也说明了 k8syaml 支持 go-yaml 的全部功能。

我们在一个项目中一开始引入的是 go-yaml 的依赖,后来引入了 k8syaml 依赖,导致在代码的不同模块中分别使用两个模块进行序列化和反序列化,最终触发了一个系统 bug,该 bug 的表现一个配置项原本没有发生变化,但是系统会显示为发生了变化。经过 debug 才发现是由于在旧值和新值分别使用了 go-yaml 和 k8s yaml 进行了初始化导致的。
我们写一小段代码进行验证一下,发现由于 k8syaml 会先将 data 转为 json 再 unmarshal,导致 Value 的类型为 float64,而直接使用 go-yaml 中话,Value 的类型则是 int。

k8s-yaml Unmarshal 出来的类型之所以为 float64,也不是做了什么魔法,仅仅是先 unmarshal 到 json 导致的,我们直接使用 json unmarshal 的话,Value 的类型也是 float64。不过 json 提供了 decode 提供了选项 UseNumger() 的选项来处理此行为。

其实 k8syaml 的这个行为在文档中也有明确说明,只是之前没有触碰到这个先转为 json 再转为 yaml 的问题,算是踩了一次坑。

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "reflect"

    "gopkg.in/yaml.v3"
    k8syaml "sigs.k8s.io/yaml"
)

func MustUnmarshalJSON(data []byte, o interface{}, useNumber bool) {
    var dec = json.NewDecoder(bytes.NewReader(data))
    if useNumber {
        dec.UseNumber()
    }
    err := dec.Decode(o)
    if err != nil {
        panic(err)
    }
}

const (
    DefaultYaml = iota
    K8SYaml
)

func MustUnmarshalYAML(data []byte, o interface{}, yamlType int, opts ...k8syaml.JSONOpt) {
    var err error
    switch yamlType {
    case DefaultYaml:
        err = yaml.Unmarshal(data, o)
    case K8SYaml:
        err = k8syaml.Unmarshal(data, o, opts...)
    default:
        panic(fmt.Errorf("unknown yamlType %v", yamlType))
    }
    if err != nil {
        panic(err)
    }
}

var useNumberOpt = func(d *json.Decoder) *json.Decoder {
    d.UseNumber()
    return d
}

func main() {
    type data struct {
        yaml string
        json string
    }
    type dd struct {
        Value interface{} `yaml:"value"`
    }
    for _, o := range []data{
        {
            yaml: `value: 7`,
            json: `{"value": 7}`,
        },
        {
            yaml: `value: 7.4`,
            json: `{"value":7.4}`,
        },
    } {
        var d dd
        fmt.Printf("Input:%+v\n", o)
        MustUnmarshalJSON([]byte(o.json), &d, false)
        fmt.Printf("JSON Unmarshal Default: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
        MustUnmarshalJSON([]byte(o.json), &d, true)
        fmt.Printf("JSON Unmarshal UseNumber: %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, DefaultYaml)
        fmt.Printf("Default YAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml)
        fmt.Printf("K8SYAML Unmarshal %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))

        MustUnmarshalYAML([]byte(o.yaml), &d, K8SYaml, useNumberOpt)
        fmt.Printf("K8SYAML Unmarshal With JSONOpt %+v, type of value: %v\n", d, reflect.TypeOf(d.Value))
    }
}

相关文章

网友评论

      本文标题:go yaml 和 k8s yaml 混用踩坑

      本文链接:https://www.haomeiwen.com/subject/cwloidtx.html