1.問題
其實(shí)這是分庫(kù)分表之后你必然要面對(duì)的一個(gè)問題,就是id咋生成?因?yàn)橐欠殖啥鄠€(gè)表之后,每個(gè)表都是從1開始累加,那肯定不對(duì)啊,需要一個(gè)全局唯一的id來支持。所以這都是你實(shí)際生產(chǎn)環(huán)境中必須考慮的問題。
2.生成方案
(1)數(shù)據(jù)庫(kù)自增id方案
原理 :這個(gè)就是說你的系統(tǒng)里每次得到一個(gè)id,都是往一個(gè)庫(kù)的一個(gè)表里插入一條沒什么業(yè)務(wù)含義的數(shù)據(jù),然后獲取一個(gè)數(shù)據(jù)庫(kù)自增的一個(gè)id。拿到這個(gè)id之后再往對(duì)應(yīng)的分庫(kù)分表里去寫入。
優(yōu)點(diǎn) : 操作簡(jiǎn)單。
缺點(diǎn) :?jiǎn)螏?kù)生成自增id,如果是高并發(fā),就會(huì)有瓶頸。
適合的場(chǎng)景:你分庫(kù)分表就倆原因,要不就是單庫(kù)并發(fā)太高,要不就是單庫(kù)數(shù)據(jù)量太大;除非是你并發(fā)不高,但是數(shù)據(jù)量太大導(dǎo)致的分庫(kù)分表擴(kuò)容,你可以用這個(gè)方案,因?yàn)榭赡苊棵胱罡卟l(fā)最多就幾百,那么就走單獨(dú)的一個(gè)庫(kù)和表生成自增主鍵即可。
改進(jìn) :可以給每個(gè)表指定不一樣的自增主鍵起始值,然后按照表的數(shù)據(jù)去自增,比如有三個(gè)表,分別指定自增主鍵起始值為1、2、3,然后按照一次增加3的方式取增長(zhǎng),這樣數(shù)據(jù)庫(kù)1的id就是1、4、7、10.....,數(shù)據(jù)庫(kù)2的id就是2、5、8、11......,數(shù)據(jù)庫(kù)3的id就是3、6、9、12,這樣就可以不依賴單點(diǎn)數(shù)據(jù)庫(kù)。
(2)UUID方案
原理 :使用UUID去生成,保證唯一性。
優(yōu)點(diǎn) :本地生成,不基于數(shù)據(jù)庫(kù),速度快不存在并發(fā)瓶頸。
缺點(diǎn) :UUID太長(zhǎng),作為主鍵性能太差了。
適用場(chǎng)景 :如果你是要隨機(jī)生成個(gè)什么文件名了,編號(hào)之類的,你可以用uuid,但是作為主鍵是不能用uuid的。
(3)使用當(dāng)前時(shí)間方案**
原理 :獲取當(dāng)前時(shí)間的時(shí)間戳來作為id。
優(yōu)點(diǎn) :簡(jiǎn)單。
缺點(diǎn) :高并發(fā)的時(shí)候,會(huì)存在重復(fù)的情況。
適用場(chǎng)景 :這個(gè)級(jí)別就不適用,不考慮。
改進(jìn) :一般如果用這個(gè)方案,是將當(dāng)前時(shí)間跟很多其他的業(yè)務(wù)字段拼接起來,作為一個(gè)id,如果業(yè)務(wù)上你覺得可以接受,那么也是可以的。你可以將別的業(yè)務(wù)字段值跟當(dāng)前時(shí)間拼接起來,組成一個(gè)全局唯一的編號(hào),訂單編號(hào),時(shí)間戳 + 用戶id + 業(yè)務(wù)含義編碼。
(4)snowflake算法
Twitter開源的分布式id生成算法,就是把一個(gè)64位的long型的id,第一個(gè)bit是不使用的,保證獲得是一個(gè)正數(shù);然后用后面的41個(gè)bit作為當(dāng)前的毫秒數(shù);用其后的10bit作為工作機(jī)器的id;最后的12個(gè)bit作為序列化。

1 bit:不用,為啥呢?因?yàn)槎M(jìn)制里第一個(gè)bit為如果是1,那么都是負(fù)數(shù),但是我們生成的id都是正數(shù),所以第一個(gè)bit統(tǒng)一都是0
41 bit:表示的是時(shí)間戳,單位是毫秒。41 bit可以表示的數(shù)字多達(dá)2^41 - 1,也就是可以標(biāo)識(shí)2 ^ 41 - 1個(gè)毫秒值,換算成年就是表示69年的時(shí)間。
10 bit:記錄工作機(jī)器id,代表的是這個(gè)服務(wù)最多可以部署在2^10臺(tái)機(jī)器上哪,也就是1024臺(tái)機(jī)器。但是10 bit里5個(gè)bit代表機(jī)房id,5個(gè)bit代表機(jī)器id。意思就是最多代表2 ^ 5個(gè)機(jī)房(32個(gè)機(jī)房),每個(gè)機(jī)房里可以代表2 ^ 5個(gè)機(jī)器(32臺(tái)機(jī)器)。
12 bit:這個(gè)是用來記錄同一個(gè)毫秒內(nèi)產(chǎn)生的不同id,12 bit可以代表的最大正整數(shù)是2 ^ 12 - 1 = 4096,也就是說可以用這個(gè)12bit代表的數(shù)字來區(qū)分同一個(gè)毫秒內(nèi)的4096個(gè)不同的id
64位的long型的id,64位的long -> 二進(jìn)制
0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000
2018-01-01 10:00:00 -> 做了一些計(jì)算,再換算成一個(gè)二進(jìn)制,41bit來放 -> 0001100 10100010 10111110 10001001 01011100 00
機(jī)房id,17 -> 換算成一個(gè)二進(jìn)制 -> 10001
機(jī)器id,25 -> 換算成一個(gè)二進(jìn)制 -> 11001
snowflake算法服務(wù),會(huì)判斷一下,當(dāng)前這個(gè)請(qǐng)求是否是,機(jī)房17的機(jī)器25,在2175/11/7 12:12:14時(shí)間點(diǎn)發(fā)送過來的第一個(gè)請(qǐng)求,如果是第一個(gè)請(qǐng)求,那么序列號(hào)就是000000000000
假設(shè),在2175/11/7 12:12:14時(shí)間里,機(jī)房17的機(jī)器25,發(fā)送了第二條消息,snowflake算法服務(wù),會(huì)發(fā)現(xiàn)說機(jī)房17的機(jī)器25,在2175/11/7 12:12:14時(shí)間里,在這一毫秒,之前已經(jīng)生成過一個(gè)id了,此時(shí)如果你同一個(gè)機(jī)房,同一個(gè)機(jī)器,在同一個(gè)毫秒內(nèi),再次要求生成一個(gè)id,此時(shí)我只能把加1
0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000001
比如我們來觀察上面的那個(gè),就是一個(gè)典型的二進(jìn)制的64位的id,換算成10進(jìn)制就是910499571847892992。
大概這個(gè)意思就是說41 bit,就是當(dāng)前毫秒單位的一個(gè)時(shí)間戳,就這意思;然后5 bit是你傳遞進(jìn)來的一個(gè)機(jī)房id(但是最大只能是32以內(nèi)),5 bit是你傳遞進(jìn)來的機(jī)器id(但是最大只能是32以內(nèi)),剩下的那個(gè)10 bit序列號(hào),就是如果跟你上次生成id的時(shí)間還在一個(gè)毫秒內(nèi),那么會(huì)把順序給你累加,最多在4096個(gè)序號(hào)以內(nèi)。
所以你自己利用這個(gè)工具類,自己搞一個(gè)服務(wù),然后對(duì)每個(gè)機(jī)房的每個(gè)機(jī)器都初始化這么一個(gè)東西,剛開始這個(gè)機(jī)房的這個(gè)機(jī)器的序號(hào)就是0。然后每次接收到一個(gè)請(qǐng)求,說這個(gè)機(jī)房的這個(gè)機(jī)器要生成一個(gè)id,你就找到對(duì)應(yīng)的Worker,生成。
他這個(gè)算法生成的時(shí)候,會(huì)把當(dāng)前毫秒放到41 bit中,然后5 bit是機(jī)房id,5 bit是機(jī)器id,接著就是判斷上一次生成id的時(shí)間如果跟這次不一樣,序號(hào)就自動(dòng)從0開始;要是上次的時(shí)間跟現(xiàn)在還是在一個(gè)毫秒內(nèi),他就把seq累加1,就是自動(dòng)生成一個(gè)毫秒的不同的序號(hào)。
這個(gè)算法那,可以確保說每個(gè)機(jī)房每個(gè)機(jī)器每一毫秒,最多生成4096個(gè)不重復(fù)的id。
利用這個(gè)snowflake算法,你可以開發(fā)自己公司的服務(wù),甚至對(duì)于機(jī)房id和機(jī)器id,反正給你預(yù)留了5 bit + 5 bit,你換成別的有業(yè)務(wù)含義的東西也可以的。
這個(gè)snowflake算法相對(duì)來說還是比較靠譜的,所以你要真是搞分布式id生成,如果是高并發(fā)啥的,那么用這個(gè)應(yīng)該性能比較好,一般每秒幾萬并發(fā)的場(chǎng)景,也足夠你用了。
public class IdWorker{
private long workerId;
private long datacenterId;
private long sequence;
public IdWorker(long workerId, long datacenterId, long sequence){
// sanity check for workerId
// 這兒不就檢查了一下,要求就是你傳遞進(jìn)來的機(jī)房id和機(jī)器id不能超過32,不能小于0
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
}
System.out.printf("worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);
this.workerId = workerId;
this.datacenterId = datacenterId;
this.sequence = sequence;
}
private long twepoch = 1288834974657L;
private long workerIdBits = 5L;
private long datacenterIdBits = 5L;
private long maxWorkerId = -1L ^ (-1L << workerIdBits); // 這個(gè)是二進(jìn)制運(yùn)算,就是5 bit最多只能有31個(gè)數(shù)字,也就是說機(jī)器id最多只能是32以內(nèi)
private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); // 這個(gè)是一個(gè)意思,就是5 bit最多只能有31個(gè)數(shù)字,機(jī)房id最多只能是32以內(nèi)
private long sequenceBits = 12L;
private long workerIdShift = sequenceBits;
private long datacenterIdShift = sequenceBits + workerIdBits;
private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
private long sequenceMask = -1L ^ (-1L << sequenceBits);
private long lastTimestamp = -1L;
public long getWorkerId(){
return workerId;
}
public long getDatacenterId(){
return datacenterId;
}
public long getTimestamp(){
return System.currentTimeMillis();
}
public synchronized long nextId() {
// 這兒就是獲取當(dāng)前時(shí)間戳,單位是毫秒
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
System.err.printf("clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds",
lastTimestamp - timestamp));
}
// 0
// 在同一個(gè)毫秒內(nèi),又發(fā)送了一個(gè)請(qǐng)求生成一個(gè)id,0 -> 1
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask; // 這個(gè)意思是說一個(gè)毫秒內(nèi)最多只能有4096個(gè)數(shù)字,無論你傳遞多少進(jìn)來,這個(gè)位運(yùn)算保證始終就是在4096這個(gè)范圍內(nèi),避免你自己傳遞個(gè)sequence超過了4096這個(gè)范圍
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0;
}
// 這兒記錄一下最近一次生成id的時(shí)間戳,單位是毫秒
lastTimestamp = timestamp;
// 這兒就是將時(shí)間戳左移,放到41 bit那兒;將機(jī)房id左移放到5 bit那兒;將機(jī)器id左移放到5 bit那兒;將序號(hào)放最后10 bit;最后拼接起來成一個(gè)64 bit的二進(jìn)制數(shù)字,轉(zhuǎn)換成10進(jìn)制就是個(gè)long型
return ((timestamp - twepoch) << timestampLeftShift) |
(datacenterId << datacenterIdShift) |
(workerId << workerIdShift) |
sequence;
}
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
private long timeGen(){
return System.currentTimeMillis();
}
//---------------測(cè)試---------------
public static void main(String[] args) {
IdWorker worker = new IdWorker(1,1,1);
for (int i = 0; i < 30; i++) {
System.out.println(worker.nextId());
}
}
}