这次，我们以最简单的方式 socket 网络模型，一步一步地过渡到 I/O 多路复用。 但我不会具体说到每个系统调用的参数，这方面书上肯定比我说得详细。 最基本的 Socke...
发简信
IP属地：北京
-
这次答应我，一举拿下 I/O 多路复用 -
Spark Join优化-BucketJoin实现偶然读取到了字节跳动关于Spark做的一些优化，发现其中一项被称为BuckedtJoin的优化项 传送门:Spark SQL 在字节跳动数据仓库领域的优化实践 [https:...
-
HBase-原理总结先放一张自己总结的图 数据模型 一个RegionServer会管理多个Region，一个表的一段键值会生成一个Region，个别情况一行数据太大也会导致同一段Region根据...
-
Flink检查点（checkpoint）、保存点（savepoint）的区别与联系今天听同事做关于Docker的技术分享，结束时已经有点晚了，没法仔细选题，所以就写一个所有人都知道的小知识点吧。 checkpoint（检查点）和savepoint（保存点）...
-
Elasticsearch数据类型及其属性
Elasticsearch数据类型及其属性 一、数据类型 字段类型概述 核心类型 1、字符串类型string类型: 在ElasticSearch 旧版本中使用较多，从Elas...
-
让Spark-Streaming在Yarn上长时间运行对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和A...
-
Spark checkpoint 过程介绍 我在学习 Spark checkpoint 时，发现网上的教程 只介绍了 某些使用场景，加上只说明 checkpoint 的作用，印象不深刻。通过源码来学习 一是印象更...
-
Spark on Yarn之Executor内存管理本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
-
浅析 Spark Shuffle 内存使用在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spa...
