前言
文章非常长,建议加入喜欢或收藏分多次看
首先放上来自美团文章的Map的类继承图
我们本章介绍的是使用最频繁的HashMap(基于JDK8),首先HashMap (综合了数组+链表的优点) , 我们都知道常用的数据结构有数组,链表... 两者都有各自的优缺点 .
- 数组查询快,增删慢(因为要移位),而且需要一片连续的存储空间
- 链表查询慢(遍历),增删快,而且不需要一片连续的存储空间
所以综上,为了追求一种更完美的数据结构,或者是查询也快,增删也快,所以就有了Hash算法,Hash算法是根据某种Hash算法计算出Key,然后存储,查询的时候根据计算出的Key直接寻址到Value,更像是字典,但是如果Key冲突了怎么办呢?就像是字典里开头为A的有很多,常用的处理方式有两种:
- 开放地址法
- 链地址法
HashMap采用的是第二种,采用数组+链表(+JDK8红黑树)的方式结合了数组和链表的优点,接下来大体介绍下HashMap
HashMap有一个数组也就是桶,当调用put之后先通过hash值计算出index找到数组上的位置,然后存储,如果还没有数据或者数组上的位置就是要存储的数据就直接设置value,要不就是遍历链表找到存储的位置存储,要不就是红黑树.下面会逐步详细介绍
目录
1. Hash算法
2. 延迟初始化
3. put
4. get
5. resize
6. 树化
1. Hash算法
一个优秀的Hash表就要尽可能的避免Hash冲突,当然解决方式有很多种,比如加大数组的大小,或者一个散列很好的Hash算法,综合时间和空间选择一个合适的数组大小,然后加上一个很好的Hash算法就是JDK8中的做法.
//hash
static final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
//index
static int indexFor(int h, int length) { //jdk1.7的源码，jdk1.8没有这个方法，但是实现原理一样的
return h & (length-1); //第三步 取模运算
}
一: hash计算
首先Java的hashCode散列特别好,基本不会重复,但是由于初始化数组长度只有16,所以实际上只有低位参与了index的计算,再看上面的hash方法,拿hashCode 与 hashCode右移16位做异或,这样使得高位与低位做了掺杂使得低位更不容易产生冲突,而且开销不大.
二: index计算
传统的计算index的方法是计算出的hash值与数组的长度length做 % 运算,映射到数组的index上,但是计算机对 % 运算实际上比 & 运算开销要大,那为什么还能通过 & 运算计算呢? 因为我们知道为什么HashMap的初始大小一定是2的整次幂 , 当n为2的整次幂的时候取余就可以转化为 : h % n ==> h & (n - 1),所以上面是通过 & 运算计算index,也是为了提升速度.
这里延伸一个: 如何判断一个数是不是2的幂次方 假设数字为n 那么可以通过 n & (n - 1) == 0 来判断
三: 数组大小的选择
当然一般常规的做法是Hash数组长度都设计为质数 , 因为质数的冲突几率会小于合数 详见: 为什么一般hashtable的桶数会取一个素数, JDK8还要选择合数而且是2的幂次方的原因有几点: 1. 取模上优化（计算机擅长移位和或与操作） 2. resize时候优化 , 当然为了减少冲突对hash值的计算做了优化，3，申请2的幂次方可以减少内存的碎片化 , 所以总体来说是优于质数的.
2.延迟初始化
public HashMap() {
this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}
public HashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR);
}
public HashMap(int initialCapacity, float loadFactor) {
if (initialCapacity < 0)
throw new IllegalArgumentException("Illegal initial capacity: " +
initialCapacity);
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
if (loadFactor <= 0 || Float.isNaN(loadFactor))
throw new IllegalArgumentException("Illegal load factor: " +
loadFactor);
this.loadFactor = loadFactor;
this.threshold = tableSizeFor(initialCapacity);
}
第一个空构造函数只是将负载因子初始化为0.75,至于为什么是0.75,Java也是经过了大量的测试最后得出0.75比较合适
第二个构造函数调用了第三个构造函数
第三个构造函数: 前几行参数校验,然后将用户设置的loadFactor赋值,然后threshold赋值,下面看一下tableSizeFor
static final int tableSizeFor(int cap) {
int n = cap - 1;
n |= n >>> 1;
n |= n >>> 2;
n |= n >>> 4;
n |= n >>> 8;
n |= n >>> 16;
return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}
cap是用户输入的容量,然后调用tableSizeFor返回一个2的幂次方的数,这里很重要,如果不设置大小,默认为16 (2的4次幂) , 所以要将用户输入的数字转换为2的幂次方, 一般我们会使用递归或遍历实现,Java的实现很厉害.
原理: (首先2的多少次幂的二进制肯定是这种形式 (1000 0000) 高位是1后面全是0 )
首先cap - 1 是因为有可能用户输入的正好是2的幂次方,先-1,然后右移, 首先将数转为2进制,高位肯定是有一个1 (ex: 0001 0000 xxxx) , 先右移一位,然后在和原值或以下,这样高位右边一位也变成了1,这样就有两个连续的 1,然后同样再右移2位,在和右移前或以下, 这样就有连续的4个1,然后再一次右移4 , 8 , 16 这样高位之后全变为了1, 然后加1这样就变为了高位进一位为1,后面全是0
如下图解: (以6为例 )
有人可能会有个疑惑,那么假设我们传入的cap很大呢? 经过上面的计算能不能转换为正确的数字呢? 有时候右移会变为负数怎么处理呢?
源码中可以看到上限为 static final int MAXIMUM_CAPACITY = 1 << 30 也就是2的30次幂 , 我们上面右移了31位所以肯定可以得到正确的数 , 右移如果产生负数,源码也有一个小于0的判断 如下:
static final int tableSizeFor(int cap) {
int n = cap - 1;
n |= n >>> 1;
n |= n >>> 2;
n |= n >>> 4;
n |= n >>> 8;
n |= n >>> 16;
//这里判断了n如果小于0 返回1
return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}
再回到标题: 延迟初始化 , 可以看到HashMap并没有在构造函数里为HashMap做初始化操作,只是做了一些赋值操作,其实Java是把初始化放到了第一次插入数据的时候, 源码如下:
public V put(K key, V value) {
return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
Node<K,V>[] tab; Node<K,V> p; int n, i;
if ((tab = table) == null || (n = tab.length) == 0)
//第一次插入数据,table为null,所以会调用resize
n = (tab = resize()).length;
if ((p = tab[i = (n - 1) & hash]) == null)
tab[i] = newNode(hash, key, value, null);
else {
...
}
++modCount;
if (++size > threshold)
resize();
afterNodeInsertion(evict);
return null;
}
可以看出当第一次put数据,会调用到putVal,然后table就是我们的数组,会满足==null,进入resize,然后会在resize里面进行初始化,具体resize操作会在后面resize的详解里.
那么Java为什么要这么做呢?
我想可能是第一不在初始化的时候申请table数组的空间,加快速度 第二减少不必要的空间浪费,因为很多map可能一直不会put数据,或者很久之后才会put数据 , 第三 大多数map都是一起初始化的,减少同时初始化造成的大片内存的分配
3. put
public V put(K key, V value) {
//首先还是计算hash
return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
Node<K,V>[] tab; Node<K,V> p; int n, i;
// 1. 判断table数组是不是空 或者 长度为0,如果为空则调用resize方法进行初始化(也就是延迟初始化)
if ((tab = table) == null || (n = tab.length) == 0)
n = (tab = resize()).length;
// 通过(hash&n-1)计算index,然后找到相应的位置的值看下是否为空,如果为空就放到该位置
if ((p = tab[i = (n - 1) & hash]) == null)
tab[i] = newNode(hash, key, value, null);
else {// 走到这里只有三种情况: 1): 数组节点的判断 2): 链表的遍历 3): 树的遍历
Node<K,V> e; K k;
// 判断是不是数组的节点,如果是赋值给e,然后通过下面的代码替换为新的值
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
// 如果节点为TreeNode,就通过红黑树的方式将值插入或替换旧值
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else { // else为链表的遍历
// for循环为无限循环,由内部跳出循环
for (int binCount = 0; ; ++binCount) {
// 找到链表的最后一个位置发现都没有,则放到链表的最后一个节点上,然后判断binCount是不是大于TREEIFY_THRESHOLD,否则链表树化,变为红黑树(Java8的优化)
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
}
// 如果找到一样的,通过下面的代码进行旧值的替换
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
}
}
// 通过上面的方式,如果找到旧值在这里完成替换
if (e != null) { // existing mapping for key
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e);
return oldValue;
}
}
++modCount;
// 插入数据要看一下当前数目和负载的数目做比较,如果超过负载要进行resize扩容
if (++size > threshold)
resize();
afterNodeInsertion(evict);
return null;
}
详见图解:
4. get
public V get(Object key) {
Node<K,V> e;
// 首先通过hash计算index 然后调用getNode方法
return (e = getNode(hash(key), key)) == null ? null : e.value;
}
final Node<K,V> getNode(int hash, Object key) {
Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
// 首先判断数组不为空,长度大于0,通过index定位到数组的第一个节点不为空
if ((tab = table) != null && (n = tab.length) > 0 &&
(first = tab[(n - 1) & hash]) != null) {
// 判断第一个节点和key的比较,如果一致就返回第一个节点
if (first.hash == hash && // always check first node
((k = first.key) == key || (key != null && key.equals(k))))
return first;
// 判断next不为空
if ((e = first.next) != null) {
// 如果是红黑树,那么通过调用树的getNode方法获取节点
if (first instanceof TreeNode)
return ((TreeNode<K,V>)first).getTreeNode(hash, key);
// 这里就是链表的遍历,如果有则返回
do {
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
return e;
} while ((e = e.next) != null);
}
}
return null;
}
5. resize扩容机制
Java的HashMap内部有一个扩容因子,默认为0.75,也就是如果HashMap的size超过了容量x0.75,就要进行扩容,扩大数组的容量,然后减少Hash冲突.
与Java7的扩容区别: Java7(数组+链表)进行扩容的时候是reHash(重新计算Hash和Index)来移动到新的数组上,链表会倒置, Java8(数组+链表+红黑树)进行扩容,不需要reHash,原因后面会讲到,然后依次将数据移动到新的数组上
final Node<K,V>[] resize() {
Node<K,V>[] oldTab = table;
int oldCap = (oldTab == null) ? 0 : oldTab.length;
int oldThr = threshold;
int newCap, newThr = 0;
if (oldCap > 0) {
if (oldCap >= MAXIMUM_CAPACITY) {
threshold = Integer.MAX_VALUE;
return oldTab;
}
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
}
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
else { // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
}
if (newThr == 0) {
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
}
threshold = newThr;
@SuppressWarnings({"rawtypes","unchecked"})
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab;
if (oldTab != null) { // 这里是扩容的操作
for (int j = 0; j < oldCap; ++j) {
Node<K,V> e;
if ((e = oldTab[j]) != null) {
oldTab[j] = null;
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else { // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do {
next = e.next;
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
return newTab;
}
1. resize的一部分是用来延迟初始化HashMap的table
延迟初始化很简单就是通过默认的大小,计算一个容量,然后初始化一个数组,这里就不讲了
2. 扩容
主要介绍下:
1.为什么不需要rehash
首先我们知道HashMap数组的大小一定是2的幂次方,然后扩容是2倍,所以依旧是2的幂次方,下面我们举个例子:
假设默认大小为16,扩容之后大小为32,看一下index的变化:
建议点击查看原图
由图上可以看出,在扩容后index要么就是不变,要么就是旧index+旧容量,不需要重新计算index , 只需要判断高位为0和1就可以了,这就是Java8相对Java7的优化,可见Doug Lea(J.U.C包基本出自他之手,有很多文章和论文的发表,有兴趣可以去看一下)的算法功底十分深厚
可以看下美团技术文章的图片:
2. 如何扩容
扩容后对值的移动主要如下:
if (oldTab != null) {
for (int j = 0; j < oldCap; ++j) {
Node<K,V> e;
if ((e = oldTab[j]) != null) {
oldTab[j] = null;
// 如果只有数组节点,next为空那么直接计算index放到新的数组上即可
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
// 如果节点为TreeNode那么说明已经树化了,直接调用TreeNode的split进行移动
else if (e instanceof TreeNode)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
// 这里主要介绍链表的移动,相对于Java7也有改动,写的十分精炼
else { // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do {
next = e.next;
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
这里主要介绍链表的处理:
我们拿到链表的节点,肯定只有两种情况,一种是原index,另一种是原index+原大小,所以分别对这两种进行处理:
文字不太好描述,我们图解一下吧
由于图片较大,点击查看原图
6. 树化
当我们在put数据的时候,如果链表上节点的个数大于等于TREEIFY_THRESHOLD (static final int TREEIFY_THRESHOLD = 8),这时候会由链表树化变为红黑树,这就是Java8的优化,其实还有一个条件,就是tab数组的个数需要大于等于MIN_TREEIFY_CAPACITY (static final int MIN_TREEIFY_CAPACITY = 64),直接看代码吧
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
//...省略部分代码
else {
//....省略部分代码
for (int binCount = 0; ; ++binCount) {
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null);
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
}
//...
p = e;
}
}
//... 省略部分代码
}
}
//...
return null;
}
可以看到,当调用putVal插入数据的时候,遍历链表的节点,会通过binCount记录节点的index, ( for (int binCount = 0; ; ++binCount) 这个for循环也是相当个性,其实是个无限循环),再回到正题,当遍历节点如果遍历到 if ((e = p.next) == null) 这个条件也就是最后一个了,那就应该把节点放到最后一个节点的next的位置上,然后看一下链表节点的个数,如果大于等于TREEIFY_THRESHOLD,就调用treeifyBin方法.
final void treeifyBin(Node<K,V>[] tab, int hash) {
int n, index; Node<K,V> e;
// 这里会判断tab数组的个数,如果小于MIN_TREEIFY_CAPACITY,其实并没有树化,而是扩容
// 原因其实也很简单,如果数组很小的话,改为红黑树提升也不大,反而会因为树化和红黑树的调整增加插入的时间
if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
resize();
else if ((e = tab[index = (n - 1) & hash]) != null) {//这里就是树化的过程
TreeNode<K,V> hd = null, tl = null;
do {
TreeNode<K,V> p = replacementTreeNode(e, null);
if (tl == null)
hd = p;
else {
p.prev = tl;
tl.next = p;
}
tl = p;
} while ((e = e.next) != null);
if ((tab[index] = hd) != null)
hd.treeify(tab);
}
}
红黑树是数据结构中比较重要的数据结构,当然也是树结构中比较简单的数据结构,如果想了解红黑树,可以看一下我的这篇文章
图片详解红黑树(R-B Tree) 一种简单而高效的数据结构 Java版
我自己画了很多图去详解红黑树,可以看一下
参考:
- JDK1.7&JDK1.8 源码。
- 博客园 : 数据结构：哈希表以及哈希冲突的解决方案
- 美团技术团队: Java 8系列之重新认识HashMap
如有错误,请评论指正,万分感谢!
