分庫(kù)分布的幾件小事(四)分庫(kù)分表的id主鍵生成

1.問題

其實(shí)這是分庫(kù)分表之后你必然要面對(duì)的一個(gè)問題,就是id咋生成?因?yàn)橐欠殖啥鄠€(gè)表之后,每個(gè)表都是從1開始累加,那肯定不對(duì)啊,需要一個(gè)全局唯一的id來支持。所以這都是你實(shí)際生產(chǎn)環(huán)境中必須考慮的問題。

2.生成方案

(1)數(shù)據(jù)庫(kù)自增id方案

原理 :這個(gè)就是說你的系統(tǒng)里每次得到一個(gè)id,都是往一個(gè)庫(kù)的一個(gè)表里插入一條沒什么業(yè)務(wù)含義的數(shù)據(jù),然后獲取一個(gè)數(shù)據(jù)庫(kù)自增的一個(gè)id。拿到這個(gè)id之后再往對(duì)應(yīng)的分庫(kù)分表里去寫入。
優(yōu)點(diǎn) : 操作簡(jiǎn)單。
缺點(diǎn) :?jiǎn)螏?kù)生成自增id,如果是高并發(fā),就會(huì)有瓶頸。
適合的場(chǎng)景:你分庫(kù)分表就倆原因,要不就是單庫(kù)并發(fā)太高,要不就是單庫(kù)數(shù)據(jù)量太大;除非是你并發(fā)不高,但是數(shù)據(jù)量太大導(dǎo)致的分庫(kù)分表擴(kuò)容,你可以用這個(gè)方案,因?yàn)榭赡苊棵胱罡卟l(fā)最多就幾百,那么就走單獨(dú)的一個(gè)庫(kù)和表生成自增主鍵即可。
改進(jìn) :可以給每個(gè)表指定不一樣的自增主鍵起始值,然后按照表的數(shù)據(jù)去自增,比如有三個(gè)表,分別指定自增主鍵起始值為1、2、3,然后按照一次增加3的方式取增長(zhǎng),這樣數(shù)據(jù)庫(kù)1的id就是1、4、7、10.....,數(shù)據(jù)庫(kù)2的id就是2、5、8、11......,數(shù)據(jù)庫(kù)3的id就是3、6、9、12,這樣就可以不依賴單點(diǎn)數(shù)據(jù)庫(kù)。

(2)UUID方案

原理 :使用UUID去生成,保證唯一性。
優(yōu)點(diǎn) :本地生成,不基于數(shù)據(jù)庫(kù),速度快不存在并發(fā)瓶頸。
缺點(diǎn) :UUID太長(zhǎng),作為主鍵性能太差了。
適用場(chǎng)景 :如果你是要隨機(jī)生成個(gè)什么文件名了,編號(hào)之類的,你可以用uuid,但是作為主鍵是不能用uuid的。

(3)使用當(dāng)前時(shí)間方案**

原理 :獲取當(dāng)前時(shí)間的時(shí)間戳來作為id。
優(yōu)點(diǎn) :簡(jiǎn)單。
缺點(diǎn) :高并發(fā)的時(shí)候,會(huì)存在重復(fù)的情況。
適用場(chǎng)景 :這個(gè)級(jí)別就不適用,不考慮。
改進(jìn) :一般如果用這個(gè)方案,是將當(dāng)前時(shí)間跟很多其他的業(yè)務(wù)字段拼接起來,作為一個(gè)id,如果業(yè)務(wù)上你覺得可以接受,那么也是可以的。你可以將別的業(yè)務(wù)字段值跟當(dāng)前時(shí)間拼接起來,組成一個(gè)全局唯一的編號(hào),訂單編號(hào),時(shí)間戳 + 用戶id + 業(yè)務(wù)含義編碼。

(4)snowflake算法

Twitter開源的分布式id生成算法,就是把一個(gè)64位的long型的id,第一個(gè)bit是不使用的,保證獲得是一個(gè)正數(shù);然后用后面的41個(gè)bit作為當(dāng)前的毫秒數(shù);用其后的10bit作為工作機(jī)器的id;最后的12個(gè)bit作為序列化。

image.png
  • 1 bit:不用,為啥呢?因?yàn)槎M(jìn)制里第一個(gè)bit為如果是1,那么都是負(fù)數(shù),但是我們生成的id都是正數(shù),所以第一個(gè)bit統(tǒng)一都是0

  • 41 bit:表示的是時(shí)間戳,單位是毫秒。41 bit可以表示的數(shù)字多達(dá)2^41 - 1,也就是可以標(biāo)識(shí)2 ^ 41 - 1個(gè)毫秒值,換算成年就是表示69年的時(shí)間。

  • 10 bit:記錄工作機(jī)器id,代表的是這個(gè)服務(wù)最多可以部署在2^10臺(tái)機(jī)器上哪,也就是1024臺(tái)機(jī)器。但是10 bit里5個(gè)bit代表機(jī)房id,5個(gè)bit代表機(jī)器id。意思就是最多代表2 ^ 5個(gè)機(jī)房(32個(gè)機(jī)房),每個(gè)機(jī)房里可以代表2 ^ 5個(gè)機(jī)器(32臺(tái)機(jī)器)。

  • 12 bit:這個(gè)是用來記錄同一個(gè)毫秒內(nèi)產(chǎn)生的不同id,12 bit可以代表的最大正整數(shù)是2 ^ 12 - 1 = 4096,也就是說可以用這個(gè)12bit代表的數(shù)字來區(qū)分同一個(gè)毫秒內(nèi)的4096個(gè)不同的id

64位的long型的id,64位的long -> 二進(jìn)制

0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000

2018-01-01 10:00:00 -> 做了一些計(jì)算,再換算成一個(gè)二進(jìn)制,41bit來放 -> 0001100 10100010 10111110 10001001 01011100 00

機(jī)房id,17 -> 換算成一個(gè)二進(jìn)制 -> 10001

機(jī)器id,25 -> 換算成一個(gè)二進(jìn)制 -> 11001

snowflake算法服務(wù),會(huì)判斷一下,當(dāng)前這個(gè)請(qǐng)求是否是,機(jī)房17的機(jī)器25,在2175/11/7 12:12:14時(shí)間點(diǎn)發(fā)送過來的第一個(gè)請(qǐng)求,如果是第一個(gè)請(qǐng)求,那么序列號(hào)就是000000000000

假設(shè),在2175/11/7 12:12:14時(shí)間里,機(jī)房17的機(jī)器25,發(fā)送了第二條消息,snowflake算法服務(wù),會(huì)發(fā)現(xiàn)說機(jī)房17的機(jī)器25,在2175/11/7 12:12:14時(shí)間里,在這一毫秒,之前已經(jīng)生成過一個(gè)id了,此時(shí)如果你同一個(gè)機(jī)房,同一個(gè)機(jī)器,在同一個(gè)毫秒內(nèi),再次要求生成一個(gè)id,此時(shí)我只能把加1

0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000001

比如我們來觀察上面的那個(gè),就是一個(gè)典型的二進(jìn)制的64位的id,換算成10進(jìn)制就是910499571847892992。

大概這個(gè)意思就是說41 bit,就是當(dāng)前毫秒單位的一個(gè)時(shí)間戳,就這意思;然后5 bit是你傳遞進(jìn)來的一個(gè)機(jī)房id(但是最大只能是32以內(nèi)),5 bit是你傳遞進(jìn)來的機(jī)器id(但是最大只能是32以內(nèi)),剩下的那個(gè)10 bit序列號(hào),就是如果跟你上次生成id的時(shí)間還在一個(gè)毫秒內(nèi),那么會(huì)把順序給你累加,最多在4096個(gè)序號(hào)以內(nèi)。

所以你自己利用這個(gè)工具類,自己搞一個(gè)服務(wù),然后對(duì)每個(gè)機(jī)房的每個(gè)機(jī)器都初始化這么一個(gè)東西,剛開始這個(gè)機(jī)房的這個(gè)機(jī)器的序號(hào)就是0。然后每次接收到一個(gè)請(qǐng)求,說這個(gè)機(jī)房的這個(gè)機(jī)器要生成一個(gè)id,你就找到對(duì)應(yīng)的Worker,生成。

他這個(gè)算法生成的時(shí)候,會(huì)把當(dāng)前毫秒放到41 bit中,然后5 bit是機(jī)房id,5 bit是機(jī)器id,接著就是判斷上一次生成id的時(shí)間如果跟這次不一樣,序號(hào)就自動(dòng)從0開始;要是上次的時(shí)間跟現(xiàn)在還是在一個(gè)毫秒內(nèi),他就把seq累加1,就是自動(dòng)生成一個(gè)毫秒的不同的序號(hào)。

這個(gè)算法那,可以確保說每個(gè)機(jī)房每個(gè)機(jī)器每一毫秒,最多生成4096個(gè)不重復(fù)的id。

利用這個(gè)snowflake算法,你可以開發(fā)自己公司的服務(wù),甚至對(duì)于機(jī)房id和機(jī)器id,反正給你預(yù)留了5 bit + 5 bit,你換成別的有業(yè)務(wù)含義的東西也可以的。

這個(gè)snowflake算法相對(duì)來說還是比較靠譜的,所以你要真是搞分布式id生成,如果是高并發(fā)啥的,那么用這個(gè)應(yīng)該性能比較好,一般每秒幾萬并發(fā)的場(chǎng)景,也足夠你用了。

public class IdWorker{

    private long workerId;
    private long datacenterId;
    private long sequence;

    public IdWorker(long workerId, long datacenterId, long sequence){
        // sanity check for workerId
// 這兒不就檢查了一下,要求就是你傳遞進(jìn)來的機(jī)房id和機(jī)器id不能超過32,不能小于0
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
        }
        System.out.printf("worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
                timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);

        this.workerId = workerId;
        this.datacenterId = datacenterId;
        this.sequence = sequence;
    }

    private long twepoch = 1288834974657L;

    private long workerIdBits = 5L;
    private long datacenterIdBits = 5L;
    private long maxWorkerId = -1L ^ (-1L << workerIdBits); // 這個(gè)是二進(jìn)制運(yùn)算,就是5 bit最多只能有31個(gè)數(shù)字,也就是說機(jī)器id最多只能是32以內(nèi)
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); // 這個(gè)是一個(gè)意思,就是5 bit最多只能有31個(gè)數(shù)字,機(jī)房id最多只能是32以內(nèi)
    private long sequenceBits = 12L;

    private long workerIdShift = sequenceBits;
    private long datacenterIdShift = sequenceBits + workerIdBits;
    private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);

    private long lastTimestamp = -1L;

    public long getWorkerId(){
        return workerId;
    }

    public long getDatacenterId(){
        return datacenterId;
    }

    public long getTimestamp(){
        return System.currentTimeMillis();
    }

    public synchronized long nextId() {
// 這兒就是獲取當(dāng)前時(shí)間戳,單位是毫秒
        long timestamp = timeGen();

        if (timestamp < lastTimestamp) {
            System.err.printf("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp);
            throw new RuntimeException(String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds",
                    lastTimestamp - timestamp));
        }

// 0
// 在同一個(gè)毫秒內(nèi),又發(fā)送了一個(gè)請(qǐng)求生成一個(gè)id,0 -> 1

        if (lastTimestamp == timestamp) {
            sequence = (sequence + 1) & sequenceMask; // 這個(gè)意思是說一個(gè)毫秒內(nèi)最多只能有4096個(gè)數(shù)字,無論你傳遞多少進(jìn)來,這個(gè)位運(yùn)算保證始終就是在4096這個(gè)范圍內(nèi),避免你自己傳遞個(gè)sequence超過了4096這個(gè)范圍
            if (sequence == 0) {
                timestamp = tilNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0;
        }

// 這兒記錄一下最近一次生成id的時(shí)間戳,單位是毫秒
        lastTimestamp = timestamp;

// 這兒就是將時(shí)間戳左移,放到41 bit那兒;將機(jī)房id左移放到5 bit那兒;將機(jī)器id左移放到5 bit那兒;將序號(hào)放最后10 bit;最后拼接起來成一個(gè)64 bit的二進(jìn)制數(shù)字,轉(zhuǎn)換成10進(jìn)制就是個(gè)long型
        return ((timestamp - twepoch) << timestampLeftShift) |
                (datacenterId << datacenterIdShift) |
                (workerId << workerIdShift) |
                sequence;
    }


    private long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    private long timeGen(){
        return System.currentTimeMillis();
    }

    //---------------測(cè)試---------------
    public static void main(String[] args) {
        IdWorker worker = new IdWorker(1,1,1);
        for (int i = 0; i < 30; i++) {
            System.out.println(worker.nextId());
        }
    }

}

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容