高并發(fā)環(huán)境下系統(tǒng)生成全局唯一ID

最近在proxy的分庫分表,需要給表中的主字段產(chǎn)生一個全局唯一ID,考慮到后期DBA會拿這個ID做索引的,所以產(chǎn)生的這個ID也要盡可能的有序, 總體要求如下

  1. 不能有單點問題...
  2. 全局唯一且有序
  3. 盡量64位可以表示

于是乎調(diào)研了一下, 貌似有幾個典型的代表

twitter的snowflake

生成方式:

  1. 41位的時間序列(ms, 大約可以用69年)

  2. 10位的機器標志(大約可以支持部署1024臺機器, 5bit設(shè)置為機器ID,5bit設(shè)置為進程ID)

  3. 12位的計數(shù)順序號(這就決定了每個節(jié)點的并發(fā)不超過4096)

  4. 最高位作為符號位, 始終為0

913887-20160325101451339-2081640491.jpg

優(yōu)點:高性能, 低延遲,基本能按時間有序, 需要獨立的開發(fā)和部署

很明顯, 這個缺點在proxy那邊來看并不是缺點,我就是參考他的思路,把這部分的實現(xiàn)放在proxy的

基于Mysql的解決方案

因為MySQL本身支持auto_increment操作,很自然地,我們會想到借助這個特性來實現(xiàn)這個功能。
Flicker在解決全局ID生成方案里就采用了MySQL自增長ID的機制(auto_increment + replace into + MyISAM)。一個生成64位ID

方案具體就是這樣的:

  1. 先創(chuàng)建單獨的數(shù)據(jù)庫, 然后創(chuàng)建一個表:
CREATE TABLE Tickets64 (
id bigint(20) unsigned NOT NULL auto_increment,
stub char(1) NOT NULL default '',
PRIMARY KEY (id),
UNIQUE KEY stub (stub)
) ENGINE=MyISAM
  1. 然后插入一條記錄,并插入一條記錄, 執(zhí)行執(zhí)行SELECT * from Tickets64查詢的結(jié)果就是這樣的:
+-------------------+------+
| id | stub |
+-------------------+------+
| 72157623227190423 | a |
+-------------------+------+

在我們的應(yīng)用端需要做下面這兩個操作,在一個事務(wù)會話里提交

REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();

這樣我們就能拿到不斷增長且不重復(fù)的ID了。
到上面為止,我們只是在單臺數(shù)據(jù)庫上生成ID,從高可用角度考慮,接下來就要解決單點故障問題:Flicker啟用了兩臺數(shù)據(jù)庫服務(wù)器來生成ID,通過區(qū)分auto_increment的起始值和步長來生成奇偶數(shù)的ID

TicketServer1:
auto-increment-increment = 2
auto-increment-offset = 1

TicketServer2:
auto-increment-increment = 2
auto-increment-offset = 2

最后,在客戶端只需要通過輪詢方式取ID就可以了。

優(yōu)點:充分借助數(shù)據(jù)庫的自增ID機制,提供高可靠性,生成的ID有序。
缺點:占用兩個獨立的MySQL實例,依賴外部服務(wù),難運維

UUID

UUID生成的是length=32的16進制格式的字符串,如果回退為byte數(shù)組共16個byte元素,即UUID是一個128bit長的數(shù)字,
一般用16進制表示。
算法的核心思想是結(jié)合機器的網(wǎng)卡、當?shù)貢r間、一個隨即數(shù)來生成UUID。
從理論上講,如果一臺機器每秒產(chǎn)生10000000個GUID,則可以保證(概率意義上)3240年不重復(fù)
優(yōu)點

  1. 本地生成ID,不需要進行遠程調(diào)用,時延低
  2. 擴展性好,基本可以認為沒有性能上限

缺點

  1. 無法保證趨勢遞增
  2. uuid過長,往往用字符串表示,作為主鍵建立索引查詢效率低,常見優(yōu)化方案為“轉(zhuǎn)化為兩個uint64整數(shù)存儲”或者“折半存儲”(折半后不能保證唯一性)
    UUID這兩個致命缺點導(dǎo)致我們首先拋棄UUID

基于REDIS的分布式ID生成器

首先,要知道redis的EVAL,EVALSHA命令:
原理:
利用redis的lua腳本執(zhí)行功能,在每個節(jié)點上通過lua腳本生成唯一ID。
生成的ID是64位的:

使用41 bit來存放時間,精確到毫秒,可以使用41年。
使用12 bit來存放邏輯分片ID,最大分片ID是4095
使用10 bit來存放自增長ID,意味著每個節(jié)點,每毫秒最多可以生成1024個ID
比如GTM時間 Fri Mar 13 10:00:00 CST 2015 ,它的距1970年的毫秒數(shù)是 1426212000000,假定分片ID是53,自增長序列是4,則生成的ID是:

5981966696448054276 = 1426212000000 << 22 + 53 << 10 + 41
redis提供了TIME命令,可以取得redis服務(wù)器上的秒數(shù)和微秒數(shù)。因些lua腳本返回的是一個四元組:
(second, microSecond, partition, seq)
客戶端可以自己處理
((second * 1000 + microSecond / 1000) << (12 + 10)) + (shardId << 10) + seq

MongoDB文檔(Document)全局唯一ID

為了考慮分布式,“_id”要求不同的機器都能用全局唯一的同種方法方便的生成它。因此不能使用自增主鍵(需要多臺服務(wù)器進行同步,既費時又費力),
因此選用了生成ObjectId對象的方法。

ObjectId使用12字節(jié)的存儲空間,其生成方式如下:

|0|1|2|3|4|5|6|7|8|9|10|11|

|時間戳 |機器ID|PID|計數(shù)器|

前四個字節(jié)時間戳是從標準紀元開始的時間戳,單位為秒,有如下特性:

  1. 時間戳與后邊5個字節(jié)一塊,保證秒級別的唯一性;
  2. 保證插入順序大致按時間排序;
  3. 隱含了文檔創(chuàng)建時間;
  4. 時間戳的實際值并不重要,不需要對服務(wù)器之間的時間進行同步(因為加上機器ID和進程ID已保證此值唯一,唯一性是ObjectId的最終訴求)。

機器ID是服務(wù)器主機標識,通常是機器主機名的散列值。
同一臺機器上可以運行多個mongod實例,因此也需要加入進程標識符PID。
前9個字節(jié)保證了同一秒鐘不同機器不同進程產(chǎn)生的ObjectId的唯一性。后三個字節(jié)是一個自動增加的計數(shù)器(一個mongod進程需要一個全局的計數(shù)器),保證同一秒的ObjectId是唯一的。同一秒鐘最多允許每個進程擁有(256^3 = 16777216)個不同的ObjectId。
總結(jié)一下:時間戳保證秒級唯一,機器ID保證設(shè)計時考慮分布式,避免時鐘同步,PID保證同一臺服務(wù)器運行多個mongod實例時的唯一性,最后的計數(shù)器保證同一秒內(nèi)的唯一性(選用幾個字節(jié)既要考慮存儲的經(jīng)濟性,也要考慮并發(fā)性能的上限)。

"_id"既可以在服務(wù)器端生成也可以在客戶端生成,在客戶端生成可以降低服務(wù)器端的壓力。

一個小實現(xiàn), 已經(jīng)用在AtlasV2中

https://github.com/yihaoDeng/id_gen

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,506評論 19 139
  • Entrance 數(shù)據(jù)在分片時,典型的是分庫分表,就有一個全局ID生成的問題。 單純的生成全局ID并不是什么難題,...
    天下無敵強閱讀 2,313評論 2 5
  • 一,題記 所有的業(yè)務(wù)系統(tǒng),都有生成ID的需求,如訂單id,商品id,文章ID等。這個ID會是數(shù)據(jù)庫中的唯一主鍵,在...
    架構(gòu)師小秘圈閱讀 4,137評論 1 18
  • 本文主要介紹在一個分布式系統(tǒng)中, 如何去生成全局唯一的 ID。 前言 單純的生成全局ID并不是什么難題,生成全局的...
    FX_SKY閱讀 2,464評論 0 6
  • 如果我是童話里的人物,那么我是,我是誰呢!我是我自己!或許我可以是灰姑娘,我被我心理上的繼母所虐待,所指責(zé),所不能...
    真與真閱讀 175評論 1 1

友情鏈接更多精彩內(nèi)容