美文网首页
分布式唯一ID生成

分布式唯一ID生成

作者: 五岁小孩 | 来源:发表于2024-03-18 16:57 被阅读0次

    分布式唯一ID生成 - Jxy 博客

    唯一ID可以标识数据的唯一性,在分布式系统中生成唯一ID的方案有很多,常见的方式大概有以下三种:

    • 依赖数据库,使用如MySQL自增列或Oracle序列等
      • 风险大,容易被外界猜到
      • 读写分离时,只有主节点可以进行写操作,可能有单点故障的风险
      • 分表分库,数据迁移合并等比较麻烦
    • UUID随机数
      • 采用无意义字符串,没有排序
      • UUID使用字符串形式存储,数据量大时查询效率比较低
    • snowflake雪花算法

    雪花算法

    有这么一种说法,自然界中并不存在两片完全一样的雪花的。每一片雪花都拥有自己漂亮独特的形状、独一无二。雪花算法也表示生成的ID如雪花般独一无二

    概述

    雪花算法生成的ID是纯数字且具有时间顺序的。其原始版本是scala版

    组成

    846aeb0b9119fb92ecf6d4a1735e3954.jpeg-wh_600x-s_524148728.jpeg

    大致由:首位无效符、时间戳差值,机器(进程)编码,序列号四部分组成。

    特点(自增、有序、适合分布式场景)

    • 全局唯一性

      不能出现有重复的ID标识,这是基本要求

    • 递增性

      确保生成ID对于用户或业务是递增的,有缺陷

    • 高可用

      确保任何时候都能生成正确的ID

    • 高性能

      在高并发的环境下依然表现良好

    • 时间位

      可以根据时间进行排序,有助于提高查询速度。

    • 机器id位

      适用于分布式环境下对多节点的各个节点进行标识,可以具体根据节点数和部署情况设计划分机器位10位长度,如划分5位表示进程位等。

    • 序列号位

      是一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号

    snowflake算法可以根据项目情况以及自身需要进行一定的修改

    缺点/缺陷

    雪花算法在单机系统上ID是递增的,但是在分布式系统多节点的情况下,所有节点的时钟并不能保证不完全同步,所以有可能会出现不是全局递增的情况。

    Snowflake算法是完全依赖于时间的,如果有时钟回拨的情况发生,会生成重复的ID,市场上的解决方案也是非常多的:

    • 最简单的方案,就是关闭生成唯一ID机器的时间同步。
    • 使用阿里云的的时间服务器进行同步,2017年1月1日的闰秒调整,阿里云服务器NTP系统24小时“消化”闰秒,完美解决了问题。
    • 如果发现有时钟回拨,时间很短比如5毫秒,就等待,然后再生成。或者就直接报错,交给业务层去处理。
    • 可以找2bit位作为时钟回拨位,发现有时钟回拨就将回拨位加1,达到最大位后再从0开始进行循环。

    推荐使用下文大【索尼算法】

    索尼算法

    概述

    索尼公司的Sonyflake对原生的Snowflake进行改进,重新分配了各部分的bit位:

    v2-01c88c810c875684194276c2f9772d83_720w.jpg

    对于时间回拨的问题Sonyflake简单暴力,就是直接等待:

    func (sf *Sonyflake) NextID() (uint64, error) {
        const maskSequence = uint16(1<<BitLenSequence - 1)
        sf.mutex.Lock()
        defer sf.mutex.Unlock()
        current := currentElapsedTime(sf.startTime)
        if sf.elapsedTime < current {
            sf.elapsedTime = current
            sf.sequence = 0
        } else { // sf.elapsedTime >= current
            sf.sequence = (sf.sequence + 1) & maskSequence
            if sf.sequence == 0 {
                sf.elapsedTime++
                overtime := sf.elapsedTime - current
                time.Sleep(sleepTime((overtime)))
            }
        }   
        return sf.toID()
    }
    

    使用

    import "github.com/sony/sonyflake"
    func main(){
      // TODO 机器码
     // var machineID=0
      var st sonyflake.Settings
      // MachineID 返回 Sonyflake 实例的唯一 ID。
        // 如果 MachineID 返回错误,则不创建 Sonyflake。
        // 如果 MachineID 为 nil,则使用默认 MachineID。
        // 默认 MachineID 返回私有 IP 地址的低 16 位。
        //st.MachineID = func() (uint16, error) {
                // MachineID = [InstanceId 6b] [ModelType 10b]
                //  return uint16(machineID), nil
        //}
    
        sf := sonyflake.NewSonyflake(st)
      id, err := generator.NextID()
        if err != nil {
            return nil, err
        }
      fmt.Println(id)
    }
    

    参考资料

    https://blog.csdn.net/qq_42403866/article/details/116952843

    相关文章

      网友评论

          本文标题:分布式唯一ID生成

          本文链接:https://www.haomeiwen.com/subject/jyhzzdtx.html