240 发简信
IP属地:浙江
  • 系统性思考

    What:系统性思考是一种帮助我们聚焦目标导向、有条理做事情的一种思维方式。是一种思考的风格,帮助我们聚焦做减法,不要把时间浪费在不需要的、没有价值的事情上。 How如何有意...

  • 120
    遥感卫星的分类及其特点

    人造卫星从用途上可以分为遥感卫星、通信卫星、侦查卫星、导航卫星、探测卫星等。其中遥感卫星是安装了遥感探测器,利用探测器获取远端对象电磁波信息的卫星,通过电磁波信息可以感知远端...

  • TaskScheduler

    Task: 在前面的章节中提到,一个Job由DAGScheduler划分后通常包含多个Stage,而一个Stage又是由多个Task组成, Task分为ShuffleMapT...

  • 《文明之光》第二册读书笔记

    《文明之光》第二部用一句话概括起来就是在讲近代文明的出现与发展历程,主要从方法论的角度讲述了近现代科学、政治、军事思想的起源与发展,论述了其历史的必然性。 其中有不少值得让人...

  • 所以CopyOnWriteArrayList适合在多次读取,少量更新的并发场景下使用

    Spark消息总线实现

    消息总线概述 消息总线是Spark内部进行消息传递,触发事件的框架,消息总线的核心是由三个抽象的对象组成: Event: 定义了一个事件; Listener:定义了一个监听器...

  • CopyOnWriteArrayList这是一个ArrayList的线程安全的变体,其原理大概可以通俗的理解为:初始化的时候只有一个容器,很常一段时间,这个容器数据、数量等没有发生变化的时候,大家(多个线程),都是读取(假设这段时间里只发生读取的操作)同一个容器中的数据,所以这样大家读到的数据都是唯一、一致、安全的,但是后来有人往里面增加了一个数据,这个时候CopyOnWriteArrayList 底层实现添加的原理是先copy出一个容器(可以简称副本),再往新的容器里添加这个新的数据,最后把新的容器的引用地址赋值给了之前那个旧的的容器地址,但是在添加这个数据的期间,其他线程如果要去读取数据,仍然是读取到旧的容器里的数据。

    Spark消息总线实现

    消息总线概述 消息总线是Spark内部进行消息传递,触发事件的框架,消息总线的核心是由三个抽象的对象组成: Event: 定义了一个事件; Listener:定义了一个监听器...

  • 为什么要用copyonwritearray存储listener?

    Spark消息总线实现

    消息总线概述 消息总线是Spark内部进行消息传递,触发事件的框架,消息总线的核心是由三个抽象的对象组成: Event: 定义了一个事件; Listener:定义了一个监听器...

  • 120
    DAGScheduler源码分析

    简介 在RDD源码走读分析的例子中看到,通过RDD执行map和reduce方法即可计算数组元素的平方和,RDD的reduce方法最终调用了dagScheduler.runJo...

  • 120
    如何有效阅读一本书?(附思维导图)

    一直以来我读书都遇到困惑,书读了不少,记下的内容却寥寥无几。鉴于平时工作生活繁忙,很难有机会复读一本书,加上对新知识的渴求,新旧书堆在书架上久而久之成为心理的负担。 我曾问过...

  • 120
    RDD源码走读分析

    定义 RDD是Spark中最基本的抽象,官方的定义如下: A Resilient Distributed Dataset (RDD), the basic abstracti...

  • 120
    骆驼祥子|病态社会下的悲哀

    这是一个悲剧的故事,若要用一句话来概括的话,那就是“祥子”从希望、失望、绝望到堕落的过程。 老舍,年少时便耳熟能详的名字,读书时期,除了鲁迅先生,便要数老舍的文章最令我印象深...

  • Spark消息总线实现

    消息总线概述 消息总线是Spark内部进行消息传递,触发事件的框架,消息总线的核心是由三个抽象的对象组成: Event: 定义了一个事件; Listener:定义了一个监听器...

  • 120
    架构师必须掌握的知识看这三张图就够了

    我们在网上经常看到如何成为架构师?怎样才算一个合格的架构师?为什么你不是架构师? 却很少有人告诉你如何脚踏实地的一步一步的学习架构的知识,具体的知识点如何知道?哪些才算是架构...

个人介绍
我始终相信,文字才是人类最伟大的发明,它让智慧得以传承,让穿越时空的思想与心灵得以交流碰撞,让美好的光景跃然纸上,这也许就是写作者的内在动力吧。