一、docker 和 containerd docker 由 docker-client ,dockerd,containerd,docker-shim,runc组成，所以c...
发简信
IP属地：上海
-
Containerd 和 Docker 命令区别
-
32 - Java编译器之Graal
Graal 编译器 GraalVM 是一个高性能的、支持多种编程语言的执行环境。它既可以在传统的 OpenJDK 上运行，也可以通过 AOT（Ahead-Of-Time）编译...
-
译《Autopilot: workload autoscaling at Google》摘要 原文链接：https://dl.acm.org/doi/pdf/10.1145/3342195.3387524[https://dl.acm.org/doi/pdf/1...
-
Hadoop YARN资源调度中的relaxLocality属性
YARN中的资源请求主要是指ApplicationMaster通过AMRMClientImpl向ResourceManager发起的容器请求。relaxLocality属性在...
-
Java 虚拟机回收算法一、分代收集类型 1. 部分收集（Partial GC） 非完整收集整个 Java 堆的垃圾收集，分为： 新生代收集（Minor GC / Young GC）只进行新生代的垃...
-
常用Spark算子总结RDD的创建和保存1.1 textFile从HDFS中读取一个文本文件1.2 makeRDD、parallelize都会创建一个新的ParallelCollectionRDD...
-
Hive、Spark SQL任务参数调优动态分区 参数说明hive.exec.dynamic.partition是否开启动态分区，默认是false。如果要开启动态分区，就设置为truehive.exec.dynam...
-
MySQL各部分的执行顺序
前几天参加了一个公司的面试，到了后面面试官出了一个SQL相关的题目： 给定访问id，用户id，页面id，访问时间，求出最近一个月对id为100的页面有访问记录且访问该页面次数...
-
对HashMap的思考及手写实现前言 HashMap是Java中常用的集合，而且HashMap的一些思想，对于我们平时解决业务上的一些问题，在思路上有帮助，基于此，本篇博客将分析HashMap底层设计思想，...
-
Hive/HiveQL常用优化方法全面总结（下篇）本文接上篇（https://www.jianshu.com/p/8e2f2f0d4b6c）继续讲解Hive/HiveQL常用优化方法，按照目录，会从“优化SQL处理join数...
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都知道可以通过这个外部服务来削减...
-
深入 ProtoBuf - 简介
之前在网络通信和通用数据交换等应用场景中经常使用的技术是 JSON 或 XML，而在最近的开发中接触到了 Google 的 ProtoBuf。 在查阅相关资料学习 Prot...
-
shell，exec，source执行脚本的区别
在UNIX/Linux中，经常需要写脚本执行自动化工作。执行脚本有多种方式，可以通过sh，source或者exec。这些方式有一些区别，需要根据需求选择合适的方式。 sh方式...
-
YARN上显示应用程序使用的vcores、memory不准确？本文基于Spark2.1.0版本 我们知道，使用yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者...
