美文网首页
分布式唯一ID生成

分布式唯一ID生成

作者: 五岁小孩 | 来源:发表于2024-03-18 16:57 被阅读0次

分布式唯一ID生成 - Jxy 博客

唯一ID可以标识数据的唯一性,在分布式系统中生成唯一ID的方案有很多,常见的方式大概有以下三种:

  • 依赖数据库,使用如MySQL自增列或Oracle序列等
    • 风险大,容易被外界猜到
    • 读写分离时,只有主节点可以进行写操作,可能有单点故障的风险
    • 分表分库,数据迁移合并等比较麻烦
  • UUID随机数
    • 采用无意义字符串,没有排序
    • UUID使用字符串形式存储,数据量大时查询效率比较低
  • snowflake雪花算法

雪花算法

有这么一种说法,自然界中并不存在两片完全一样的雪花的。每一片雪花都拥有自己漂亮独特的形状、独一无二。雪花算法也表示生成的ID如雪花般独一无二

概述

雪花算法生成的ID是纯数字且具有时间顺序的。其原始版本是scala版

组成

846aeb0b9119fb92ecf6d4a1735e3954.jpeg-wh_600x-s_524148728.jpeg

大致由:首位无效符、时间戳差值,机器(进程)编码,序列号四部分组成。

特点(自增、有序、适合分布式场景)

  • 全局唯一性

    不能出现有重复的ID标识,这是基本要求

  • 递增性

    确保生成ID对于用户或业务是递增的,有缺陷

  • 高可用

    确保任何时候都能生成正确的ID

  • 高性能

    在高并发的环境下依然表现良好

  • 时间位

    可以根据时间进行排序,有助于提高查询速度。

  • 机器id位

    适用于分布式环境下对多节点的各个节点进行标识,可以具体根据节点数和部署情况设计划分机器位10位长度,如划分5位表示进程位等。

  • 序列号位

    是一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号

snowflake算法可以根据项目情况以及自身需要进行一定的修改

缺点/缺陷

雪花算法在单机系统上ID是递增的,但是在分布式系统多节点的情况下,所有节点的时钟并不能保证不完全同步,所以有可能会出现不是全局递增的情况。

Snowflake算法是完全依赖于时间的,如果有时钟回拨的情况发生,会生成重复的ID,市场上的解决方案也是非常多的:

  • 最简单的方案,就是关闭生成唯一ID机器的时间同步。
  • 使用阿里云的的时间服务器进行同步,2017年1月1日的闰秒调整,阿里云服务器NTP系统24小时“消化”闰秒,完美解决了问题。
  • 如果发现有时钟回拨,时间很短比如5毫秒,就等待,然后再生成。或者就直接报错,交给业务层去处理。
  • 可以找2bit位作为时钟回拨位,发现有时钟回拨就将回拨位加1,达到最大位后再从0开始进行循环。

推荐使用下文大【索尼算法】

索尼算法

概述

索尼公司的Sonyflake对原生的Snowflake进行改进,重新分配了各部分的bit位:

v2-01c88c810c875684194276c2f9772d83_720w.jpg

对于时间回拨的问题Sonyflake简单暴力,就是直接等待:

func (sf *Sonyflake) NextID() (uint64, error) {
    const maskSequence = uint16(1<<BitLenSequence - 1)
    sf.mutex.Lock()
    defer sf.mutex.Unlock()
    current := currentElapsedTime(sf.startTime)
    if sf.elapsedTime < current {
        sf.elapsedTime = current
        sf.sequence = 0
    } else { // sf.elapsedTime >= current
        sf.sequence = (sf.sequence + 1) & maskSequence
        if sf.sequence == 0 {
            sf.elapsedTime++
            overtime := sf.elapsedTime - current
            time.Sleep(sleepTime((overtime)))
        }
    }   
    return sf.toID()
}

使用

import "github.com/sony/sonyflake"
func main(){
  // TODO 机器码
 // var machineID=0
  var st sonyflake.Settings
  // MachineID 返回 Sonyflake 实例的唯一 ID。
    // 如果 MachineID 返回错误,则不创建 Sonyflake。
    // 如果 MachineID 为 nil,则使用默认 MachineID。
    // 默认 MachineID 返回私有 IP 地址的低 16 位。
    //st.MachineID = func() (uint16, error) {
            // MachineID = [InstanceId 6b] [ModelType 10b]
            //  return uint16(machineID), nil
    //}

    sf := sonyflake.NewSonyflake(st)
  id, err := generator.NextID()
    if err != nil {
        return nil, err
    }
  fmt.Println(id)
}

参考资料

https://blog.csdn.net/qq_42403866/article/details/116952843

相关文章

  • 生成分布式序列ID

    生成分布式序列ID 介绍 在很多分布式系统中,需要生成唯一的id。如在分库分表的情况下,给某个逻辑表生成唯一id。...

  • 分布式唯一Id(雪花算法),原理+对比+方案

    集群高并发情况下如何保证分布式唯一全局Id生成 为什么需要分布式全局唯一Id,以及分布式Id的业务需求 在复杂分布...

  • 从给apache sharding-sphere提交的issue

    很多的分布式系统的唯一ID都是基于雪花算法生成的,apache sharding-sphere的分布式ID也是采用...

  • id-generator 分布式ID生成器

    1、概述 id-generator分布式ID生成器, 解决在分布式系统唯一性标识生成复杂、不统一的问题,如数据库分...

  • UUID

    IdWorker.java 高并发分布式系统中生成全局唯一Id汇总 Twitter的分布式自增ID算法snowf...

  • ID生成器

    分布式唯一ID生成器https://www.liaoxuefeng.com/article/12805265120...

  • Laravel snowflake 使用Twitter的Snow

    Laravel扩展包,实现 Snowflake 生成分布式唯一 ID laravel-snowflake Lara...

  • 分布式系统生成唯一ID的几种方式

    在分布式系统中常会需要生成系统唯一ID,生成ID有很多方法,根据不同的生成策略,以满足不同的场景、需求以及性能要求...

  • 高并发下如何生成唯一ID

    通过本文档你将学习到 为什么需要分布式全局唯一ID以及分布式ID的业务需求 ? ID生成规则部分硬性要求?目标出现...

  • 04.分布式系统的id生成方式

    分布式ID需要满足那些条件? 全局唯一:必须保证ID是全局性唯一的,基本要求高性能:高可用低延时,ID生成响应要块...

网友评论

      本文标题:分布式唯一ID生成

      本文链接:https://www.haomeiwen.com/subject/jyhzzdtx.html