一个算法揭示HashMap的原理

大概是因为世界杯让我有借口去偷懒的原因吧,最近一段时间在公司也在做java的事情,所以没有太多的心思去写文章。万恶始于世界杯,也终于世界杯,以后就没有偷懒的借口了,心碎。。。

好吧,我来说说今天要讲的内容,源于一个大学的大神,突然来问我一个很简单的算法,然后就引起了自己的一些思考,下面我们来看看这个算法:

image

很简单,我们创建了两个Set,都知道Set是保存不重复的属性,然后第一个创建了100000个10000之内的随机数,第二个Set创建了190002个1999-11999之间的随机数。

看上去很拗口,但是问题很简单。就是算出两个Set里面相同的数总共多少个。
拿到问题了大家估计都会想,哇,这个问题很简单,两个for循环就完事了:

        Random random = new Random();
        int z = 0;

        Set<Integer> list1 = new HashSet<>();
        for (int i = 0; i < 100000; i++) {
            list1.add(random.nextInt(10000));
        }

        Set<Integer> list2 = new HashSet<>();
        for (int i = 9998; i < 200000; i++) {
            list2.add(random.nextInt(10000) + 1999);
        }
        for (int str : list1) {
            for(int str1 : list2){
                if(str == str1){
                    z++;
                }
            }
        }

        System.out.println(z);

看上去很简单,好吧,我们用Junit试试运行的结果:

image

625ms看上去也没什么问题,但是,我的同学看到就开始调侃我了,你怎么那么菜,#¥%¥&……%#¥%¥……¥%……%¥%%¥%,此处省略1000字被调侃的话。然后他就给我看了他的运行结果:

image

我看到之后,有点惊呆了的意思,27ms跟625ms差了二十多倍的速度。这个时候不是我惊讶的时候,我知道,我要做的是去跪舔。。。去试探点口风。想不到这位同学竟然告诉我这是我每天都会用的东西,就能达到这个效果-----HashMap

那我赶紧去试试,确实:

        Random random = new Random();
        int z = 0;
        Set<Integer> list1 = new HashSet<>();
        for (int i = 0; i < 100000; i++) {
            list1.add(random.nextInt(10000));
        }

        Set<Integer> list2 = new HashSet<>();
        for (int i = 9998; i < 200000; i++) {
            list2.add(random.nextInt(10000) + 1999);
        }

        HashMap<Integer,Integer> hashMap=new HashMap();
        for (int str : list1) {
            hashMap.put(str,str);
        }

        for(int str : list2){
            if(hashMap.get(str) != null){
                z++;
            }
        }

        System.out.println(z);

很神奇的是,直接用Hashmap直接就能得到这样一个结果。然后我亲爱的同学又来一顿调侃,hashmap的原理都不懂你就!¥%¥……%¥@%#@%¥%@%¥。然后我就只好认怂的看一下总结了一下hashmap的原理。

关于hashmap,我们首先得说说哈希表的基本概念,我还去翻了一下自己的大学课本,以下是官方的回答:

哈希表的基本概念

哈希表又称散列表,是除了顺序表存储结构、链表存储结构和索引表存储结构之外的又一种存储线性表的存储结构。哈希表存储的基本思路是:设要存储的对象个数为n,设置一个长度为m(m>=n)的连续空间以线性表中每个对象的关键字K下标i(0<=i<=n-1)为自变量,通过一个称为哈希函数的函数h(K下标i),把K下标i映射为内存单元的地址h(K下标i),并把该对象存储在这个内存单元中。h(K下标i)也称为哈希地址(又称为散列地址)。把如此构造的线性表存储结构称为哈希表。

那下面我用一幅图概括上面的一大堆文字:

image

这就很简单明了了吧~

看懂了哈希表的基本概念,那下面我们就要讲讲用它的概念做出来的伟大作品HashMap了:

HashMap是什么:

HashMap是Java常用的用来储存键值对的数据结构,它是线程不安全的,可以储存null键值。

HashMap实现原理:

其实HashMap主干是一个数组叫Note:

transient Node<K,V>[] table;

而Node是HashMap里面的一个静态类:

static class Node<K,V> implements Map.Entry<K,V> {
        final int hash;//对key的hashcode值进行hash运算后得到的值,存储在Note,避免重复计算
        final K key;
        V value;
        Node<K,V> next;//存储指向下一个Entry的引用,单链表结构

        Node(int hash, K key, V value, Node<K,V> next) {
            this.hash = hash;
            this.key = key;
            this.value = value;
            this.next = next;
        }
        ...
}        

看到上面代码Node里面的next,是一个单链表结构,而结合table是一个Node数组,可以判断出HashMap是一个数组加链表的结构。下面我总结一下HashMap的结构图:

image

好吧,我们每天都用的HashMap大概就是上图数组+链表的结构。那突然我想到个问题,为什么HashMap偏偏采用的是数组+链表的结构呢?

哈希冲突

答案其实很简单,那就是哈希冲突,因为上面说到哈希函数h(K),里面是一个算法,当两个不同的元素,通过哈希函数的算法算出的实际存储地址是相同的时候,就会出现冲突,这个冲突就称为哈希冲突。所以,当实际存储地址相同(可以看做HashMap存储的数组)的时候,就需要链表来存储拥有相同实际地址但几个不同的元素。这种称为链地址法,也就是数组+链表的方式,可以很好的解决哈希冲突。

除此之外,我们也可以明白为什么HashMap效率能这么高了,对于查找,添加等操作很快,仅需一次寻址即可;如果定位到的数组包含链表,对于添加操作,其时间复杂度为O(n),首先遍历链表,存在即覆盖,否则新增;对于查找操作来讲,仍需遍历链表,然后通过key对象的equals方法逐一比对查找。当然,HashMap中的链表出现越少,也就是哈希冲突出现越少的话,性能才会越好。

源码剖析

下面我们继续分析HashMap的源码:

//存储的key-value键值对的个数
transient int size;
//负载因子,代表了table的填充度有多少,默认是0.75
final float loadFactor;
//阈值,当table == {}时,该值为初始容量(初始容量默认为16);当table被填充了,也就是为table分配内存空间后,threshold一般为 capacity*loadFactory。
int threshold;

HashMap的容量是否需要扩充,看的就是threshold,capacity和loadFactory这三个值。举个例子,如果初识容量是16(即capacity为16,且loadFactory为0.75)的时候:

    threshold = capacity * loadFactory
              = 12

也就是说当前HashMap的容量阀值为12,当我们实际的容量超过12的时候,HashMap会进行扩容,从16会变成下个2的n次幂,也即32.
下面我们来分析下几个方法:

put

    public V put(K key, V value) {
        //(1)
        return putVal(hash(key), key, value, false, true);
    }
    
    final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
        Node<K,V>[] tab; Node<K,V> p; int n, i;
        //(2)判断table是否为空,是就执行resize()方法
        if ((tab = table) == null || (n = tab.length) == 0)
            n = (tab = resize()).length;
        //如果在数组里面没找到相应的位置则需要新建一个位置    
        if ((p = tab[i = (n - 1) & hash]) == null)
            tab[i] = newNode(hash, key, value, null);
        else {
            //否则,在数组里面找到位置若找到相同值,则覆盖;若是不同的值
            //则需要在链表上新建一个结点。
            Node<K,V> e; K k;
            if (p.hash == hash &&
                ((k = p.key) == key || (key != null && key.equals(k))))
                e = p;
            else if (p instanceof TreeNode)
                e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
            else {
                for (int binCount = 0; ; ++binCount) {
                    if ((e = p.next) == null) {
                        p.next = newNode(hash, key, value, null);
                        if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                            treeifyBin(tab, hash);
                        break;
                    }
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        break;
                    p = e;
                }
            }
            if (e != null) { // existing mapping for key
                V oldValue = e.value;
                if (!onlyIfAbsent || oldValue == null)
                    e.value = value;
                afterNodeAccess(e);
                return oldValue;
            }
        }
        ++modCount;
        if (++size > threshold)
            resize();
        afterNodeInsertion(evict);
        return null;
    }

代码很长,但我们主需要捉住关键代码分析即可
注意点(1):首先我们看看hash()方法做了什么事:

    //通过这个方法来获取元素要存储的位置
    static final int hash(Object key) {
        int h;
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    }

下面我们看看注意点(2):resize()方法做了什么:

    //HashMap可设置的最大容量为2的30次幂
    static final int MAXIMUM_CAPACITY = 1 << 30;

    final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        int oldThr = threshold;
        int newCap, newThr = 0;
        if (oldCap > 0) {
            //当容量大于等于可设置的最大容量时,取原来的值
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            //当原来的容量大于等于原来默认容量值时,容量翻倍
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                newThr = oldThr << 1; // double threshold
        }
        else if (oldThr > 0) // initial capacity was placed in threshold
            newCap = oldThr;
        else {               // zero initial threshold signifies using 
            ...
        }
        return newTab;
    }

我们可以看到resize()就是一个对容量进行计算扩充的方法。
每次当原来的值不够用的时候,容量就会翻倍。
有人会问,为什么扩充的容量一定是要2的n次幂呢?
下面我就讲讲这个运算,大家是否还记得putVal()方法中有这么一段
(n - 1) & hash,是一个与运算。

关于这个运算,其实就是确定得到最终数组索引位置。
我们用同样的二进制数去做分别跟31,和另一个2的n次幂数做运算

(1)
1 0 1 0 1
&
1 1 1 1 0 = 1 0 1 0 0
(2)
1 0 1 0 0
&
1 1 1 1 0 = 1 0 1 0 0
(3)
1 0 1 0 1
&
1 1 1 1 1 = 1 0 1 0 1

结果很明显,分别从(1)(2)(3)看出,当与运算为2的n次幂做与运算时,得到的结果会变得更多。得到的结果更多意味着最终数组索引位置变化也会更多,最后得到的哈希冲突就会变少。所以这里大家就明白为什么扩容的大小一定要是2的n次幂了吧

还有一个问题,有人会问为什么用与运算可以确定得到最终数组索引位置呢?好吧,我再来举个例子,我们用一个很大的数和很小的数分别跟2的5次幂做与运算:
比32要大的数:

1 1 1 1 1 1 1 1 1
&
0 0 0 0 1 1 1 1 1 = 1 1 1 1 1

比32要小的数:

0 0 0 0 0 0 0 1 1
&
0 0 0 0 1 1 1 1 1 = 0 0 0 1 1

上面的结果就看到,无论多大或者多小的数跟32做与运算,得出的结果都是小于等于32的,那由此大家就知道当我们的HashMap长度为32的时候,无论hash()方法算出来的数是多少,跟长度做与运算,最后得出的最终位置肯定比HashMap的长度范围内。

get

    public V get(Object key) {
        Node<K,V> e;
        return (e = getNode(hash(key), key)) == null ? null : e.value;
    }
    
    final Node<K,V> getNode(int hash, Object key) {
        Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
        if ((tab = table) != null && (n = tab.length) > 0 &&
            (first = tab[(n - 1) & hash]) != null) {
            //如果数组的第一个值相同,则返回
            if (first.hash == hash && // always check first node
                ((k = first.key) == key || (key != null && key.equals(k))))
                return first;
            //若数组的第一个值没找到,则需要向该数组里的链表逐个结点查找    
            if ((e = first.next) != null) {
                if (first instanceof TreeNode)
                    return ((TreeNode<K,V>)first).getTreeNode(hash, key);
                do {
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        return e;
                } while ((e = e.next) != null);
            }
        }
        return null;
    }
    

我们从get方法就能看到,如果查询的时候,能第一次查出值,效率是很高的,但是如果有哈希冲突,需要往链表下面查,效率就会变慢。

好了,HashMap的原理大概就是这样了,对于HashMap的原理面试的时候应该也没被少问,所以自己也参考网上的资料,总结了自己的一些自己的看法。其实大神还告诉我,这是一种代码中空间换时间的做法,我们多创建了一个HashMap的空间,却时间少花了二十多倍的运算时间,何乐而不为?代码中或许还有很多很好的例子等着我们去发掘。

很久没写文章,如果有写错的地方,请多多指正,谢谢大家!

我的掘金:
https://juejin.im/user/594e8e9a5188250d7b4cd875/posts
我的简书:
https://www.jianshu.com/u/b538ca57f640

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容

  • HashMap 是 Java 面试必考的知识点,面试官从这个小知识点就可以了解我们对 Java 基础的掌握程度。网...
    野狗子嗷嗷嗷阅读 6,657评论 9 107
  • HashMap 源码分析 前几篇分析了 ArrayList , LinkedList ,Vector ,Stack...
    醒着的码者阅读 2,836评论 4 44
  • 恍恍惚惚,18年已过一个月。作为严重的拖延症患者,近两周才对17年做了整体的回顾,做了组内的绩效沟通,今天也抽空做...
    数大招疯阅读 191评论 0 1
  • 领导不在的日子我比想象中更加焦头烂额,要写材料需要引用市长那么一段批示,认不出连体子有一搭无一搭发给了爸爸。 他去...
    小记记阅读 203评论 0 0
  • 此刻,只想回到杭州,回到那个场域,揭开盖子,自己的性格是那样的不堪,只到今天越来越无法面对这么讨厌的自己。回...
    SmileV_7e84阅读 252评论 0 8