唯一ID可以标识数据的唯一性,在分布式系统中生成唯一ID的方案有很多,常见的方式大概有以下三种:
- 依赖数据库,使用如MySQL自增列或Oracle序列等
- 风险大,容易被外界猜到
- 读写分离时,只有主节点可以进行写操作,可能有单点故障的风险
- 分表分库,数据迁移合并等比较麻烦
- UUID随机数
- 采用无意义字符串,没有排序
- UUID使用字符串形式存储,数据量大时查询效率比较低
- snowflake雪花算法
雪花算法
有这么一种说法,自然界中并不存在两片完全一样的雪花的。每一片雪花都拥有自己漂亮独特的形状、独一无二。雪花算法也表示生成的ID如雪花般独一无二
概述
雪花算法生成的ID是纯数字且具有时间顺序的。其原始版本是scala版
组成
846aeb0b9119fb92ecf6d4a1735e3954.jpeg-wh_600x-s_524148728.jpeg大致由:首位无效符、时间戳差值,机器(进程)编码,序列号四部分组成。
特点(自增、有序、适合分布式场景)
-
全局唯一性
不能出现有重复的ID标识,这是基本要求
-
递增性
确保生成ID对于用户或业务是递增的,有缺陷
-
高可用
确保任何时候都能生成正确的ID
-
高性能
在高并发的环境下依然表现良好
-
时间位
可以根据时间进行排序,有助于提高查询速度。
-
机器id位
适用于分布式环境下对多节点的各个节点进行标识,可以具体根据节点数和部署情况设计划分机器位10位长度,如划分5位表示进程位等。
-
序列号位
是一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号
snowflake算法可以根据项目情况以及自身需要进行一定的修改
缺点/缺陷
雪花算法在单机系统上ID是递增的,但是在分布式系统多节点的情况下,所有节点的时钟并不能保证不完全同步,所以有可能会出现不是全局递增的情况。
Snowflake算法是完全依赖于时间的,如果有时钟回拨的情况发生,会生成重复的ID,市场上的解决方案也是非常多的:
- 最简单的方案,就是关闭生成唯一ID机器的时间同步。
- 使用阿里云的的时间服务器进行同步,2017年1月1日的闰秒调整,阿里云服务器NTP系统24小时“消化”闰秒,完美解决了问题。
- 如果发现有时钟回拨,时间很短比如5毫秒,就等待,然后再生成。或者就直接报错,交给业务层去处理。
- 可以找2bit位作为时钟回拨位,发现有时钟回拨就将回拨位加1,达到最大位后再从0开始进行循环。
推荐使用下文大【索尼算法】
索尼算法
概述
索尼公司的Sonyflake对原生的Snowflake进行改进,重新分配了各部分的bit位:
v2-01c88c810c875684194276c2f9772d83_720w.jpg对于时间回拨的问题Sonyflake简单暴力,就是直接等待:
func (sf *Sonyflake) NextID() (uint64, error) {
const maskSequence = uint16(1<<BitLenSequence - 1)
sf.mutex.Lock()
defer sf.mutex.Unlock()
current := currentElapsedTime(sf.startTime)
if sf.elapsedTime < current {
sf.elapsedTime = current
sf.sequence = 0
} else { // sf.elapsedTime >= current
sf.sequence = (sf.sequence + 1) & maskSequence
if sf.sequence == 0 {
sf.elapsedTime++
overtime := sf.elapsedTime - current
time.Sleep(sleepTime((overtime)))
}
}
return sf.toID()
}
使用
import "github.com/sony/sonyflake"
func main(){
// TODO 机器码
// var machineID=0
var st sonyflake.Settings
// MachineID 返回 Sonyflake 实例的唯一 ID。
// 如果 MachineID 返回错误,则不创建 Sonyflake。
// 如果 MachineID 为 nil,则使用默认 MachineID。
// 默认 MachineID 返回私有 IP 地址的低 16 位。
//st.MachineID = func() (uint16, error) {
// MachineID = [InstanceId 6b] [ModelType 10b]
// return uint16(machineID), nil
//}
sf := sonyflake.NewSonyflake(st)
id, err := generator.NextID()
if err != nil {
return nil, err
}
fmt.Println(id)
}
网友评论