Go语言 sort包使用与源码剖析

作者: 一根薯条 | 来源:发表于2019-05-13 15:29 被阅读0次

    有句话很有趣:Stay hungry, stay foolish. 个人根据对这句话的理解 以一个有强烈求知欲的小白的角度,用提问解答的方式组织全文。以此发现自己知识的不足并学习新的知识。

    问题目录

    1. 包方面
    • sort包里包括哪些文件
    • sort.go如何使用,有什么需要注意的地方
    • example_*_test.go格式的文件是做什么用的
    • slice.go如何使用,有什么需要注意的地方
    • search.go如何使用,有什么需要注意的地方
    • genzfunc.go是什么,如何使用
    1. 算法方面
    • 涉及到哪些算法
    • 算法的比较
    • 算法的稳定性以及稳定性的重要性
    1. Go语言方面
    • genzfunc.go是什么,如何使用
    • Go通过嵌套实现继承

    解答

    sort包里包括哪些文件

    如下所示

    ├── example_interface_test.go
    ├── example_keys_test.go
    ├── example_multi_test.go
    ├── example_search_test.go
    ├── example_test.go
    ├── example_wrapper_test.go
    ├── export_test.go
    ├── genzfunc.go
    ├── search.go
    ├── search_test.go
    ├── slice.go
    ├── sort.go
    ├── sort_test.go
    └── zfuncversion.go
    

    sort.go如何使用,有什么需要注意的地方

    sort.go文件中,排序算法有: 插入排序(insertionSort)、堆排序(heapSort),快速排序(quickSort)、希尔排序(ShellSort)、归并排序(SymMerge)。 这些函数都是以小写字母开头,意味着他们对外是不可见的(letter case set visibility)。其中,归并排序用于 Stable函数,其余算法用于 Sort函数。

    Sort是基于interface实现的,新建数据类型只要实现 sort.Interface中的三种方法,就能使用Sort方法。下面看下接口中的方法的功能。

    type Interface interface {
       // Len返回序列中的元素数量
       Len() int
       // 若i < j,则Less返回true
       Less(i, j int) bool
       // Swap 交换下标为i和j的元素
       Swap(i, j int)
    }
    

    在sort中go支持[]Int切片IntSlice、[]Float64切片Float64Slice和[]string切片StringSlice这三种类型。以IntSlice为例,可供我们使用的方法主要有:

    • Sort() 对序列进行排序

    • Reverse() 结合Sort对序列进行逆序排序

    • IsSorted() 判断序列是否有序

    • Stable() 对序列进行排序,同时保证值相等的元素排序后和原始顺序相同(即使用稳定的算法)。使用Stable需实现sort.Interface中的所有方法

    下面来看一些具体的例子:

    package main
    
    import "fmt"
    import "sort"
    
    func main() {
    
        strs := []string{"c", "a", "b"} // 未排序
        sort.Strings(strs)
        fmt.Println("Strings:", strs)
    
        ints := []int{7, 2, 4}                  //未排序
        sort.Ints(ints)
        fmt.Println("Ints:   ", ints)
    
        s := sort.IntsAreSorted(ints)
        fmt.Println("Sorted: ", s)
        
        //Output: Strings: [a b c]
        //Ints:    [2 4 7]
        //Sorted:  true
    }
    

    example*test.go格式的文件是做什么用的

    在sort包中,有很多 example_*_test.go格式的文件,这些文件中的以 Example开头的函数讲解了Sort包各种方法的使用方法。这是官方提供的使用案例,强烈建议读者看看这几份代码。下面简单说明一下这些代码的用途。

    ├── example_interface_test.go //基础用法,对一个[]struct进行排序
    ├── example_keys_test.go            //这个例子蛮有趣的,对struct中的元素可进行可编程化的排序(即通过struct中的不同元素进行排序)
    ├── example_multi_test.go           //这个例子蛮有趣的,演示了用struct中不同的元素进行排序的方法。
    ├── example_search_test.go      //升序和降序的序列如何使用Search()
    ├── example_test.go                     //sort.go和slice的使用方法,列举了上述过的三种数据类型的使用方法,Reverse()和Slice()的使用方法。
    ├── example_wrapper_test.go     //通过srtuct嵌套[]struct达到利用struct中不同元素进行排序的目的。
    

    Go中的map是未经排序的k-v对,如果需要一个排序后的map,可以开一个key/value的序列,对序列进行排序,再遍历map。

    m := map[string]int{"Alice": 2, "Cecil": 1, "Bob": 3}
    
    keys := make([]string, 0, len(m))
    for k := range m {
        keys = append(keys, k)
    }
    sort.Strings(keys)
    
    for _, k := range keys {
        fmt.Println(k, m[k])
    }
    // Output:
    // Alice 2
    // Bob 3
    // Cecil 1
    

    注意

    Float64Slice

    在Float64Slice的Less方法中,为避免依赖math.IsNaN,在包中写了一个功能一样的IsNaN

    // isNaN is a copy of math.IsNaN to avoid a dependency on the math package.
    func isNaN(f float64) bool {
        return f != f
    }
    
    Reverse

    实现Reverse比较有趣,来看下源码

    type reverse struct {
      // 在reverse结构体中内嵌Interface接口,使Reverse能使用Interface接口实现的方法
        Interface
    }
    
    //Less()把Interface接口的Less()的参数翻转,从而达到反转的目的
    func (r reverse) Less(i, j int) bool {
        return r.Interface.Less(j, i)
    }
    
    // Reverse返回data的反转序列
    func Reverse(data Interface) Interface {
        return &reverse{data}
    }
    

    slice.go如何使用,有什么需要注意的地方

    思考一下可以想到,在 sort.Interface这个接口中, Len()Swap()方法一般是不需要改动的,只有 Less()方法需要指出具体的元素比较项。若每写一个新类型就需要实现三种方法比较麻烦, slice.go解决了这个问题,它里面的方法只需提供less函数即可。

    type Interface interface {
       Len() int
       Less(i, j int) bool
       Swap(i, j int)
    }
    

    你可能要问了,不提供 Len()Swap()并没有实现 sort.Interface接口啊。带着疑问,来看下Slice()的源码。

    func Slice(slice interface{}, less func(i, j int) bool) {
        rv := reflect.ValueOf(slice)
        swap := reflect.Swapper(slice) //reflect.Swapper根据slice类型返回具体的swap func。
        length := rv.Len()
        quickSort_func(lessSwap{less, swap}, 0, length, maxDepth(length))
    }
    

    可以看到,Slice通过反射获得Len()Swap()。函数中的lessSwap结构如下

    // lessSwap有Less和Swap方法,用于自动生成且优化后的的sort.go的变种zfuncversion.go
    type lessSwap struct {
        Less func(i, j int) bool
        Swap func(i, j int)
    }
    

    注意

    slice.go里面的方法提供的interface类型必须是切片类型,否则会panic。

    search.go如何使用,有什么需要注意的地方

    Go中的Search函数是用二分查找实现的,比较简单。example_search_test.go的的使用方法如下。

    func ExampleSearch() {
    a := []int{1, 3, 6, 10, 15, 21, 28, 36, 45, 55}
    x := 6

    i := sort.Search(len(a), func(i int) bool { return a[i] >= x })
    if i < len(a) && a[i] == x {
        fmt.Printf("found %d at index %d in %v\n", x, i, a)
    } else {
        fmt.Printf("%d not found in %v\n", x, a)
    }
    // Output:
    // found 6 at index 2 in [1 3 6 10 15 21 28 36 45 55]
    

    }

    search.go中为上述三种数据类型([]Int切片( IntSlice)、[]Float64切片( Float64Slice)和[]string切片(StringSlice))分别提供了函数。

    func SearchInts(a []int, x int) int {
        return Search(len(a), func(i int) bool { return a[i] >= x })
    }
    

    我们可以借鉴下源码中求中点的方式

    h := int(uint(i+j) >> 1) // avoid overflow when computing h
    

    注意

    Search()函数不能单独使用,需要在其下方配合判断条件组合使用。search.go函数中传入序列需要是排序过的,否则会出现奇怪的现象(因为Search函数是通过序列下标进行搜索的)。由于是通过序列下标进行搜索的,在搜索序列中不存在的元素时会出现下面的现象(笔者之前是写Python的,不太喜欢这种设计:If there is no such index, Search returns n)。

    func ExampleWrongSearch() {
        a := []int{1, 2, 3, 4, 5, 6}
        fmt.Println(sort.SearchInts(a, 78))
        fmt.Println(sort.SearchInts(a, -1))
      // Output:
      // 6
        // 0
    }
    // Search()不能单独使用,正确的写法应该是这样。
    func ExampleSearch() {
        a := []int{1, 3, 6, 10, 15, 21, 28, 36, 45, 55}
        x := 6
      
        i := sort.Search(len(a), func(i int) bool { return a[i] >= x })
        if i < len(a) && a[i] == x { // 需进行判断,看是否找到了元素
            fmt.Printf("found %d at index %d in %v\n", x, i, a)
        } else {
            fmt.Printf("%d not found in %v\n", x, a)
        }
        // Output:
        // found 6 at index 2 in [1 3 6 10 15 21 28 36 45 55]
    }
    

    genzfunc.go是什么,如何使用

    genzfunc.go通过运行go generate命令生成zfuncversion.go。简单来说,就是生成代码的。它主要是给开发者在写Go包的时候用的。在生成的zfuncversion.go中,原sort.go中的若干内部函数被改写,以insertionSort为例,以下是生成的代码被改动的情况。

    // sort.go中的insertSort
    func insertionSort(data Interface, a, b int) {
        for i := a + 1; i < b; i++ {
            for j := i; j > a && data.Less(j, j-1); j-- {
                data.Swap(j, j-1)
            }
        }
    }
    //zfuncversion.go中的insertionSort_func,可以看到,其中函数名加了_func后缀,data类型由Interface变为lessSwap
    func insertionSort_func(data lessSwap, a, b int) {
        for i := a + 1; i < b; i++ {
            for j := i; j > a && data.Less(j, j-1); j-- {
                data.Swap(j, j-1)
            }
        }
    }
    

    sort库涉及到哪些算法

    排序算法用到插入排序(insertionSort)、堆排序(heapSort)、快速排序(quickSort)、希尔排序(ShellSort)和归并排序(SymMerge);搜索算法用到二分查找算法。

    Sort()函数中,选择算法的判断条件如图所示。

    判断条件

    Sort()函数不能保证稳定性,Go用归并排序提供了一个稳定的排序函数Stable()

    排序算法的比较

    快排、堆排序和归并排序

    算法 时间复杂度 稳定性 原地排序
    快排 平均O(nlogn) 最好O(nlogn) 最坏O(n*n) 不稳定
    堆排序 平均O(nlogn) 最好O(nlogn) 最坏O(nlogn) 不稳定
    归并排序 平均O(nlogn) 最好O(nlogn) 最坏O(nlogn) 稳定

    注意:这里列举的都是基本的排序算法。对于排序算法而言,算法是否稳定需要对算法进行具体的分析,不能一概而论。

    在sort源码中,在切片数量大于12时,用到快排和堆排序这两种排序算法,当maxDepth为0时,会从快排转换为使用堆排序。作者根据这篇论文写算法的。Engineering a Sort Function following Bentley and McIlroy SP&E November 1993。 其中maxDepth的计算函数如下:

    func maxDepth(n int) int {
        var depth int
        for i := n; i > 0; i >>= 1 {
            depth++
        }
      return depth * 2 //return 2*向上取整(lg(n+1))
    }
    

    sort源码中主要使用快排进行排序的。也许读者有疑问,归并排序的时间复杂度稳定,同时也是一种稳定的排序的算法,为何不使用这种排序算法呢。原因是归并排序不是原地排序算法,他需要借助额外空间进行归并,空间复杂度较高,为O(n)。而对于堆排序,要使用首先需要建堆然后排序。源码中的堆排序首先对数组中(hi - 1) / 2个节点依次堆化,再依次pop堆顶元素,完成排序。相较于快排,堆排序需要建堆这个过程,这个过程会打乱原来的数据顺序,可能会将数据的有序度降低,即经过建堆之后,数据反而变得更无序了。

    稳定性的用途

    首先需明确稳定性的定义:稳定性指待排序的序列中,值相等的元素排序后和原始序列顺序相同。在大学教学过程中,课上老师用来举例的例子一般是一个int序列,在这个情境中难以看出稳定性的实际作用。但实际开发过程中,当对一个有多个有效元素的[]struct进行排序时,稳定性的作用就发挥出来了:先用struct中某个元素进行排序,再对struct中的另一个元素进行排序,第一个元素排序的结果可以作为第二个元素排序的输入。

    举个例子,现在需要对学生的成绩数据进行排序。希望按照总分从大到小排序,总分相同的学生,按照英语成绩从大到小排序。有了稳定的排序算法,可以先按照英语成绩从大到小排序,再按照总分进行排序。

    Go语言方面

    Go通过嵌套实现继承

    在sort包中很多地方都通过struct和interface的嵌套去实现继承。从而继承内部嵌套结构的方法和属性。建议读者多看看嵌套的相关代码。举例:

    • Reverse()的实现

    • sort/example_wrapper_test.go的实现

    参考

    gobyexample

    Go语言中文网sort-排序算法

    Rob Pike generate

    相关文章

      网友评论

        本文标题:Go语言 sort包使用与源码剖析

        本文链接:https://www.haomeiwen.com/subject/sxtraqtx.html