美文网首页程序员
go实现生产者消费者模型

go实现生产者消费者模型

作者: 跑马溜溜的球 | 来源:发表于2020-07-08 18:46 被阅读0次

这是一个单一生产者,多消费者的模型。该模型主要实现了任务调度和同步。
实际使用时需要修改的内容如下:

type Task struct{}  //自己实际需要的数据结构
producer()  //实际生产数据逻辑
consumer()  //实际处理逻辑

main()中的consumerNum(消费者个数), channelLen(通道长度)也可根据实际需要修改

代码如下:

package main

import (
    "fmt"
    "sync"
)

type Task struct {
    Data string
}

var wg sync.WaitGroup

//生产逻辑
func producer(tasks chan Task) {
    t := Task{}

    for i := 62; i < 72; i++ {
        t.Data = string(i)
        tasks <- t
    }
}

func producerDispatch(tasks chan Task) {
    defer close(tasks)

    producer(tasks)
}

//消费数据处理逻辑
func consumer(task Task) {
    fmt.Printf("consum task:%v\n", task)
}

func consumerDispatch(tasks chan Task) {
    defer wg.Done()

    for task := range tasks {
        consumer(task)
    }
}

func main() {
    //消费者个数
    var consumerNum = 10
    var channelLen = 50

    tasks := make(chan Task, channelLen)

    go producerDispatch(tasks)

    for i := 0; i < consumerNum; i++ {
        wg.Add(1)
        go consumerDispatch(tasks)
    }

    wg.Wait()
    fmt.Println("all done")
}

说明:

  1. 生产者完成任务后调用close关闭通道
  2. 因为通道关闭,所以消费者在取完所有任务后,会退出取任务的for循环。
  3. 主线程main, 通过Wait()保证了在所有任务处理完后才退出。
  4. wg.Add必须放在main中。不然,有可能main执行完了,producerDispatch,consumerDispatch协程还没被调度到,这样就直接打印“all done”退出了。这也是在实际过程中踩的一个坑。

不足:
刚学习go, 没想到如何将其封成一个类似php的class的东西,方便使用。也许interface是条路? 有好思路的同学欢迎交流。

相关文章

网友评论

    本文标题:go实现生产者消费者模型

    本文链接:https://www.haomeiwen.com/subject/xoqhcktx.html