Java8集合框架之--HashMap

前言

HashMapJava程序員使用頻率最高的用于映射(鍵值對)處理的數(shù)據(jù)類型。隨著JDK版本的更新,JDK1.8HashMap底層的實(shí)現(xiàn)進(jìn)行了優(yōu)化,例如引入紅黑樹的數(shù)據(jù)結(jié)構(gòu)和擴(kuò)容的優(yōu)化等。本文結(jié)合JDK1.7JDK1.8的區(qū)別,來談?wù)?code>HashMap的結(jié)構(gòu)實(shí)現(xiàn)和功能原理。

如無特別說明,本文是基于JDK8。


簡介

Java為數(shù)據(jù)結(jié)構(gòu)中的映射定義了一個(gè)接口java.util.Map,此接口主要有四個(gè)常用的實(shí)現(xiàn)類,分別是HashMap、Hashtable、LinkedHashMapTreeMap,類繼承關(guān)系如下圖所示:

下面針對各個(gè)實(shí)現(xiàn)類的特點(diǎn)做一些說明:

  • HashMap:它根據(jù)keyhashCode來存儲數(shù)據(jù),大多數(shù)情況下可以直接定位到它的值,因而具有很快的訪問速度。HashMap最多只允許一條記錄的keynull,允許多條記錄的valuenull。HashMap非線程安全,即任一時(shí)刻可以有多個(gè)線程同時(shí)寫HashMap,但可能會(huì)導(dǎo)致數(shù)據(jù)的不一致。如果需要滿足線程安全,可以用 CollectionssynchronizedMap(Map<K,V> m)方法使HashMap具有線程安全的能力,但多線程環(huán)境下更推薦使用ConcurrentHashMap。

  • HashtableHashtable是遺留類,很多映射的常用功能與HashMap類似,不同的是它承自Dictionary類,并且是線程安全的,任一時(shí)間只有一個(gè)線程能寫Hashtable,并發(fā)性不如ConcurrentHashMap,因?yàn)?code>ConcurrentHashMap引入了分段鎖(JDK1.7中采用分段鎖技術(shù)、JDK1.8中采用的是CAS)。Hashtable不建議再在新代碼中使用,不需要線程安全的場合可以用HashMap替換,需要線程安全的場合可以用ConcurrentHashMap替換。

  • LinkedHashMapLinkedHashMap 繼承自 HashMap,在 HashMap 基礎(chǔ)上,通過維護(hù)一條雙向鏈表,解決了HashMap不能隨時(shí)保持遍歷順序和插入順序一致的問題。詳細(xì)可查看:LinkedHashMap 源碼詳細(xì)分析(JDK1.8)

  • TreeMapTreeMap實(shí)現(xiàn)SortedMap接口,能夠把它保存的記錄根據(jù)key排序,默認(rèn)是按鍵kwy的值升序排序,也可以指定排序的比較器,當(dāng)用Iterator遍歷TreeMap時(shí),得到的記錄是排過序的。如果使用排序的映射,建議使用TreeMap。在使用TreeMap時(shí),key必須實(shí)現(xiàn)Comparable接口或者在構(gòu)造TreeMap傳入自定義的Comparator,否則會(huì)在運(yùn)行時(shí)拋出java.lang.ClassCastException類型的異常。

對于上述四種Map類型的類,要求映射中的key是不可變對象。不可變對象是該對象在創(chuàng)建后它的哈希值不會(huì)被改變。如果對象的哈希值發(fā)生變化,Map對象很可能就定位不到映射的位置了。

通過上面的比較,我們知道了HashMapJavaMap家族中一個(gè)普通成員,鑒于它可以滿足大多數(shù)場景的使用條件,所以是使用頻度最高的一個(gè)。下文我們主要結(jié)合源碼,從存儲結(jié)構(gòu)、常用方法分析、擴(kuò)容以及安全性等方面深入講解HashMap的工作原理。


內(nèi)部實(shí)現(xiàn)

要搞清楚HashMap,首先需要知道HashMap是什么,即它的存儲結(jié)構(gòu);其次弄明白HashMap能干什么,即它的功能實(shí)現(xiàn)。下面我們針對這兩個(gè)方面詳細(xì)展開講解。

一、存儲結(jié)構(gòu)-字段

HashMap采用的數(shù)據(jù)機(jī)構(gòu)是數(shù)組+鏈表+紅黑樹(JDK1.8增加了紅黑樹部分)實(shí)現(xiàn)的,如下如所示。

這里需要講明白兩個(gè)問題:數(shù)據(jù)底層具體存儲的是什么?這樣的存儲方式有什么優(yōu)點(diǎn)呢?

(1) 從源碼可知,HashMap類中有一個(gè)非常重要的字段,就是 Node[] table,即哈希桶數(shù)組,明顯它是一個(gè)Node的數(shù)組。我們來看Node(JDK1.8)是何物。


NodeHashMap的一個(gè)內(nèi)部類,實(shí)現(xiàn)了Map.Entry接口,本質(zhì)上就是一個(gè)映射(鍵值對)。上圖中的每個(gè)黑色圓點(diǎn)就是一個(gè)Node對象。

(2)HashMap就是使用哈希表來存儲的。哈希表為解決沖突,可以采用 開放地址法 和 鏈地址法 等來解決問題,JavaHashMap采用了鏈地址法。鏈地址法,簡單來說,就是數(shù)組+鏈表的結(jié)合。在每個(gè)數(shù)組元素上都一個(gè)鏈表結(jié)構(gòu),當(dāng)數(shù)據(jù)被Hash后,得到數(shù)組下標(biāo),把數(shù)據(jù)放在對應(yīng)下標(biāo)元素的鏈表上。例如程序執(zhí)行下面代碼:

map.put("河南大學(xué)","河南·開封");

系統(tǒng)將調(diào)用"河南大學(xué)"這個(gè)keyhashCode()方法得到其hashCode值(該方法適用于每個(gè)Java對象),然后再通過Hash算法的后兩步運(yùn)算(高位運(yùn)算和取模運(yùn)算,下文有介紹)來定位該鍵值對的存儲位置,有時(shí)兩個(gè)key會(huì)定位到相同的位置,表示發(fā)生了Hash碰撞。當(dāng)然Hash算法計(jì)算結(jié)果越分散均勻,Hash碰撞的概率就越小,map的存取效率就會(huì)越高。

如果哈希桶數(shù)組很大,即使較差的Hash算法也會(huì)比較分散,如果哈希桶數(shù)組數(shù)組很小,即使好的Hash算法也會(huì)出現(xiàn)較多碰撞,所以就需要在空間成本和時(shí)間成本之間權(quán)衡,其實(shí)就是在根據(jù)實(shí)際情況確定哈希桶數(shù)組的大小,并在此基礎(chǔ)上設(shè)計(jì)好的hash算法減少Hash碰撞。那么通過什么方式來控制map使得Hash碰撞的概率又小,哈希桶數(shù)組(Node[] table)占用空間又少呢?答案就是好的Hash算法和擴(kuò)容機(jī)制。

在理解Hash和擴(kuò)容流程之前,我們得先了解下HashMap的幾個(gè)字段。從HashMap的默認(rèn)構(gòu)造函數(shù)源碼可知,構(gòu)造函數(shù)就是對下面幾個(gè)字段進(jìn)行初始化,源碼如下:

     int threshold;           
     final float loadFactor;   
     int modCount;  
     int size;

首先,Node[] table的初始化長度length(默認(rèn)值是16),loadFactor為負(fù)載因子(默認(rèn)值是0.75),thresholdHashMap所能容納的最大數(shù)據(jù)量的Node(鍵值對)個(gè)數(shù)。threshold = length * loadFactor,比如length=16、loadFactor=0.75f,那么threshold=16 * 0.75=12。也就是說,在數(shù)組定義好長度之后,負(fù)載因子越大,所能容納的鍵值對個(gè)數(shù)越多。

結(jié)合負(fù)載因子的定義公式可知,threshold就是在此loadFactorlength(數(shù)組長度)對應(yīng)下允許的最大元素?cái)?shù)目,超過這個(gè)數(shù)目就重新resize(擴(kuò)容),擴(kuò)容后的HashMap容量是之前容量的兩倍。默認(rèn)的負(fù)載因子0.75是對空間和時(shí)間效率的一個(gè)平衡選擇,建議大家不要修改,除非在時(shí)間和空間比較特殊的情況下,如果內(nèi)存空間很多而又對時(shí)間效率要求很高,可以降低負(fù)載因子loadFactor的值;相反,如果內(nèi)存空間緊張而對時(shí)間效率要求不高,可以增加負(fù)載因子loadFactor的值,這個(gè)值可以大于1。

size這個(gè)字段其實(shí)很好理解,就是HashMap中實(shí)際存在的鍵值對數(shù)量。注意和table的長度length容納最大鍵值對數(shù)量threshold的區(qū)別。而modCount字段主要用來記錄HashMap內(nèi)部結(jié)構(gòu)發(fā)生變化的次數(shù),主要用于迭代的快速失敗。強(qiáng)調(diào)一點(diǎn),內(nèi)部結(jié)構(gòu)發(fā)生變化指的是結(jié)構(gòu)發(fā)生變化,例如put新鍵值對,但是某個(gè)key對應(yīng)的value值被覆蓋不屬于結(jié)構(gòu)變化。

HashMap中,哈希桶數(shù)組table的長度length大小必須為2的n次方(一定是合數(shù)),這是一種非常規(guī)范的設(shè)計(jì),常規(guī)的設(shè)計(jì)是把桶的大小設(shè)計(jì)為素?cái)?shù)。相對來說素?cái)?shù)導(dǎo)致沖突的概率要小于合數(shù)。HashMap采用這種非常規(guī)設(shè)計(jì),主要是為了在取模和擴(kuò)容時(shí)做優(yōu)化,同時(shí)為了減少?zèng)_突,HashMap定位哈希桶索引位置時(shí),也加入了高位參與運(yùn)算的過程。

這里存在一個(gè)問題,即使負(fù)載因子和Hash算法設(shè)計(jì)的再合理,也免不了會(huì)出現(xiàn)拉鏈過長的情況,一旦出現(xiàn)拉鏈過長,則會(huì)嚴(yán)重影響HashMap的性能。于是,在JDK1.8版本中,對數(shù)據(jù)結(jié)構(gòu)做了進(jìn)一步的優(yōu)化,引入了紅黑樹。而當(dāng)鏈表長度太長(默認(rèn)超過8)時(shí),鏈表就轉(zhuǎn)換為紅黑樹;當(dāng)紅黑樹節(jié)點(diǎn)個(gè)數(shù)太少(默認(rèn)少于6)時(shí),紅黑樹就退化為鏈表。

二、功能實(shí)現(xiàn)-方法

HashMap的內(nèi)部功能實(shí)現(xiàn)很多,本文主要從根據(jù)key獲取哈希桶數(shù)組索引位置、put方法的詳細(xì)執(zhí)行擴(kuò)容過程三個(gè)具有代表性的點(diǎn)深入展開講解。

1. 確定哈希桶數(shù)組索引位置

不管增加、刪除、查找鍵值對,定位到哈希桶數(shù)組的位置都是很關(guān)鍵的第一步。前面說過HashMap的數(shù)據(jù)結(jié)構(gòu)是數(shù)組和鏈表的結(jié)合,所以我們當(dāng)然希望這個(gè)HashMap里面的元素位置盡量分布均勻些,盡量使得每個(gè)位置上的元素?cái)?shù)量只有一個(gè),那么當(dāng)我們用hash算法求得這個(gè)位置的時(shí)候,馬上就可以知道對應(yīng)位置的元素就是我們要的,不用遍歷鏈表,大大優(yōu)化了查詢的效率。HashMap定位數(shù)組索引位置,直接決定了hash方法的離散性能。先看看源碼的實(shí)現(xiàn)(方法一+方法二):


這里的Hash算法本質(zhì)上就是三步:取key的hashCode值高位運(yùn)算、取模運(yùn)算。

對于任意給定的對象,只要它的hashCode()返回值相同,那么程序調(diào)用方法一所計(jì)算得到的Hash碼值總是相同的。我們首先想到的就是把hash值對數(shù)組長度取模運(yùn)算,這樣一來,元素的分布相對來說是比較均勻的。但是,模運(yùn)算的消耗還是比較大的,在HashMap中是這樣做的:調(diào)用方法二來計(jì)算該對象應(yīng)該保存在table數(shù)組的哪個(gè)索引處。

這個(gè)方法非常巧妙,它通過h & (table.length -1)來得到該對象的保存位,而HashMap底層數(shù)組的長度總是2的n次方,這是HashMap在速度上的優(yōu)化。當(dāng)length總是2的n次方時(shí),h& (length-1)運(yùn)算等價(jià)于對length取模,也就是h%length,但是&比%具有更高的效率。

JDK1.8的實(shí)現(xiàn)中,優(yōu)化了高位運(yùn)算的算法,通過hashCode()的高16位異或低16位(h = k.hashCode()) ^ (h >>> 16)實(shí)現(xiàn)的,主要是從速度、功效、質(zhì)量來考慮的,這么做可以在數(shù)組table的length比較小的時(shí)候,也能保證考慮到高低位都參與到Hash的計(jì)算中,同時(shí)不會(huì)有太大的開銷。

下面舉例說明下,n為table的長度。


2. 分析HashMap的put方法

HashMap的put方法執(zhí)行過程可以通過下圖來理解,自己有興趣可以去對比源碼更清楚地研究學(xué)習(xí)。


①.判斷鍵值對數(shù)組table[i]是否為空或?yàn)閚ull,否則執(zhí)行resize()進(jìn)行擴(kuò)容;

②.根據(jù)鍵值key計(jì)算hash值得到插入的數(shù)組索引i,如果table[i]==null,直接新建節(jié)點(diǎn)添加,轉(zhuǎn)向⑥,如果table[i]不為空,轉(zhuǎn)向③;

③.判斷table[i]的首個(gè)元素是否和key一樣,如果相同直接覆蓋value,否則轉(zhuǎn)向④,這里的相同指的是hashCode以及equals;

④.判斷table[i] 是否為treeNode,即table[i] 是否是紅黑樹,如果是紅黑樹,則直接在樹中插入鍵值對,否則轉(zhuǎn)向⑤;

⑤.遍歷table[i],判斷鏈表長度是否大于8,大于8的話把鏈表轉(zhuǎn)換為紅黑樹,在紅黑樹中執(zhí)行插入操作,否則進(jìn)行鏈表的插入操作;遍歷過程中若發(fā)現(xiàn)key已經(jīng)存在直接覆蓋value即可;

⑥.插入成功后,判斷實(shí)際存在的鍵值對數(shù)量size是否超多了最大容量threshold,如果超過,進(jìn)行擴(kuò)容。

JDK1.8HashMap的put方法源碼如下:


3. 擴(kuò)容機(jī)制

擴(kuò)容(resize)就是重新計(jì)算容量,向HashMap對象里不停的添加元素,而HashMap對象內(nèi)部的數(shù)組無法裝載更多的元素時(shí),對象就需要擴(kuò)大數(shù)組的長度,以便能裝入更多的元素。當(dāng)然Java里的數(shù)組是無法自動(dòng)擴(kuò)容的,方法是使用一個(gè)新的數(shù)組代替已有的容量小的數(shù)組,就像我們用一個(gè)小桶裝水,如果想裝更多的水,就得換大水桶。

我們分析下resize的源碼,鑒于JDK1.8融入了紅黑樹,較復(fù)雜,為了便于理解我們?nèi)匀皇褂肑DK1.7的代碼,好理解一些,本質(zhì)上區(qū)別不大,具體區(qū)別后文再說。

這里就是使用一個(gè)容量更大的數(shù)組來代替已有的容量小的數(shù)組(擴(kuò)容后數(shù)組的大小為擴(kuò)容前數(shù)組的2倍),transfer()方法將原有Entry數(shù)組的元素拷貝到新的Entry數(shù)組里。

newTable[i]的引用賦給了e.next,也就是使用了單鏈表的頭插入方式,同一位置上新元素總會(huì)被放在鏈表的頭部位置;這樣先放在一個(gè)索引上的元素終會(huì)被放到Entry鏈的尾部(如果發(fā)生了hash沖突的話),這一點(diǎn)和JDK8有區(qū)別(JDK8是尾插法),下文詳解。在舊數(shù)組中同一條Entry鏈上的元素,通過重新計(jì)算索引位置后,有可能被放到了新數(shù)組的不同位置上。

下面舉個(gè)例子說明下擴(kuò)容過程。假設(shè)了我們的hash算法就是簡單的用key mod 一下表的大?。ㄒ簿褪菙?shù)組的長度)。其中的哈希桶數(shù)組table的size=2, 所以key = 3、7、5,put順序依次為 5、7、3。在mod 2以后都沖突在table[1]這里了。這里假設(shè)負(fù)載因子 loadFactor=1,即當(dāng)鍵值對的實(shí)際大小size 大于 table的實(shí)際大小時(shí)進(jìn)行擴(kuò)容。接下來的三個(gè)步驟是哈希桶數(shù)組 resize成4,然后所有的Node重新rehash的過程。

下面我們講解下JDK1.8做了哪些優(yōu)化。

經(jīng)過觀測可以發(fā)現(xiàn),我們使用的是2次冪的擴(kuò)展(指長度擴(kuò)為原來2倍),所以,元素的位置要么是在原位置,要么是在原位置再移動(dòng)2次冪的位置。看下圖可以明白這句話的意思,n為table的長度,圖(a)表示擴(kuò)容前的key1和key2兩種key確定索引位置的示例,圖(b)表示擴(kuò)容后key1和key2兩種key確定索引位置的示例,其中hash1是key1對應(yīng)的哈希與高位運(yùn)算結(jié)果。

元素在重新計(jì)算hash之后,因?yàn)閚變?yōu)?倍,那么n-1的范圍在高位多1bit(紅色),因此新的index就會(huì)發(fā)生這樣的變化:

因此,我們在擴(kuò)充HashMap的時(shí)候,不需要像JDK1.7的實(shí)現(xiàn)那樣重新計(jì)算hash,只需要看看原來的hash值新增的那個(gè)bit是1還是0就好了,是0的話索引沒變,是1的話索引變成“原索引+oldCap”,可以看看下圖為16擴(kuò)充為32的resize示意圖:

這個(gè)設(shè)計(jì)確實(shí)非常的巧妙,既省去了重新計(jì)算hash值的時(shí)間,而且同時(shí),由于新增的1bit是0還是1可以認(rèn)為是隨機(jī)的,因此resize的過程,均勻的把之前的沖突的節(jié)點(diǎn)分散到新的bucket了。這一塊就是JDK1.8新增的優(yōu)化點(diǎn)。有一點(diǎn)注意區(qū)別,JDK1.7中rehash的時(shí)候,舊鏈表遷移新鏈表的時(shí)候,如果在新表的數(shù)組索引位置相同,則鏈表元素會(huì)倒置,但是從上圖可以看出,JDK1.8不會(huì)倒置。有興趣的同學(xué)可以研究下JDK1.8的resize源碼,寫的很贊,如下:


線程安全性

在多線程使用場景中,應(yīng)該盡量避免使用線程不安全的HashMap,而使用線程安全的ConcurrentHashMap。那么為什么說HashMap是線程不安全的,下面舉例子說明在并發(fā)的多線程使用場景中使用HashMap可能造成死循環(huán)。代碼例子如下(便于理解,仍然使用JDK1.7的環(huán)境):

其中,map初始化為一個(gè)長度為2的數(shù)組,loadFactor=0.75,threshold=2*0.75=1,也就是說當(dāng)put第二個(gè)key的時(shí)候,map就需要進(jìn)行resize。

通過設(shè)置斷點(diǎn)讓線程1和線程2同時(shí)debug到transfer()方法的首行。注意此時(shí)兩個(gè)線程已經(jīng)成功添加數(shù)據(jù)。放開thread1的斷點(diǎn)至transfer方法的“Entry next = e.next;” 這一行;然后放開線程2的的斷點(diǎn),讓線程2進(jìn)行resize。結(jié)果如下圖。

注意,Thread1的 e 指向了key(3),而next指向了key(7),其在線程二rehash后,指向了線程二重組后的鏈表。

線程一被調(diào)度回來執(zhí)行,先是執(zhí)行 newTalbe[i] = e, 然后是e = next,導(dǎo)致了e指向了key(7),而下一次循環(huán)的next = e.next導(dǎo)致了next指向了key(3)。

e.next = newTable[i] 導(dǎo)致 key(3).next 指向了 key(7)。注意:此時(shí)的key(7).next 已經(jīng)指向了key(3), 環(huán)形鏈表就這樣出現(xiàn)了。

于是,當(dāng)我們用線程一調(diào)用map.get(11)時(shí),悲劇就出現(xiàn)了——死循環(huán)。


JDK1.8與JDK1.7的性能對比

HashMap中,如果key經(jīng)過hash算法得出的數(shù)組索引位置全部不相同,即Hash算法非常好,那樣的話,getKey方法的時(shí)間復(fù)雜度就是O(1),如果Hash算法技術(shù)的結(jié)果碰撞非常多,假如Hash算極其差,所有的Hash算法結(jié)果得出的索引位置一樣,那樣所有的鍵值對都集中到一個(gè)桶中,或者在一個(gè)鏈表中,或者在一個(gè)紅黑樹中,時(shí)間復(fù)雜度分別為O(n)和O(lgn)。


小結(jié)

(1) 擴(kuò)容是一個(gè)特別耗性能的操作,所以當(dāng)程序員在使用HashMap的時(shí)候,估算map的大小,初始化的時(shí)候給一個(gè)大致的數(shù)值,避免map進(jìn)行頻繁的擴(kuò)容。

(2) 負(fù)載因子是可以修改的,也可以大于1,但是建議不要輕易修改,除非情況非常特殊。

(3) HashMap是線程不安全的,不要在并發(fā)的環(huán)境中同時(shí)操作HashMap,建議使用ConcurrentHashMap。

(4) JDK1.8引入紅黑樹大程度優(yōu)化了HashMap的性能。

(5) 還沒升級JDK1.8的,現(xiàn)在開始升級吧。HashMap的性能提升僅僅是JDK1.8的冰山一角。

參考文章
Java 8系列之重新認(rèn)識HashMap

HashMap 源碼詳細(xì)分析(JDK1.8)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
禁止轉(zhuǎn)載,如需轉(zhuǎn)載請通過簡信或評論聯(lián)系作者。

友情鏈接更多精彩內(nèi)容