编译阶段生成JobGraph 运行阶段生成调度ExecutionGraph task 数据之间的传输 上图代表了一个简单的 map-reduce 类型的作业，有两个并行的任务...
发简信
IP属地：浙江
-
flink task之间的数据传输以及网络流控 -
Calcite RBO rule 解析和自定义
什么是查询优化器 查询优化器是传统数据库的核心模块，也是大数据计算引擎的核心模块，开源大数据引擎如 Impala、Presto、Drill、HAWQ、 Spark、Hive ...
-
gRPC-Java实践1.新建一个Maven工程，添加gRPC相关依赖 2.添加protocol buffers 编译插件 2.1注意 这是我的文件结构，重要的文件都框出来了 3.编写.proto...
-
Flink on YARN 基础架构与启动流程本文转载Flink官方社区文章：一张图轻松掌握 Flink on YARN 基础架构与启动流程 Flink on YARN 模式启动流程图 Flink on YARN 集群部...
-
DMA 技术是什么，在哪里用？看完绝对有收获
前文《I/O Zero Copy是什么？》介绍了 Zero Copy 的本质就是 IO 设备跟用户程序空间传输数据的过程中，减少数据拷贝次数，减少系统调用，实现 CPU 的零...
-
docker学习笔记转载自 http://blog.opskumu.com/docker.html 一、Docker 简介 Docker 两个主要部件： Docker: 开源的容器虚拟化平台 D...
-
《Docker从入门到实践》阅读笔记
《Docker从入门到实践》阅读笔记 原书地址： https://yeasy.gitbooks.io/docker_practice/content/introduction...
-
TensorFlow架构与设计：图模块计算图是TensorFlow领域模型的核心。本文通过对计算图领域模型的梳理，讲述计算图构造的基本原理。 边 Edge持有前驱节点与后驱节点，从而实现了计算图的连接，也是计算图...
-
TensorFlow架构与设计：OP本质论
TensorFlow的系统结构以C API为界，将整个系统分为「前端」和「后端」两个子系统。前端系统扮演了Client的角色，完成计算图的构造，通过转发Protobuf格式的...
-
可能会有用的Clion技巧—— Mac篇本文已更新，点击访问 最近学习 C++，首选的代码编辑器是 Sublime Text，这款轻便、颜值高、功能强大的编辑器相信是很多人敲代码的首选，同样 Sublime 也是我...
-
详解C++指针和引用
C++是在C语言的基础上发展来的。C++除了有C语言的指针外，还增加一个新的概念——引用，初学者容易把引用和指针混淆一起，面试或者笔试经常被考到。 要弄清楚这两个概念，先从变...
-
多线程下ThreadLocalRandom用法
前言 学习 ThreadLocalRandom 的时候遇到一些疑惑，为何使用它在多线程下会产生相同的随机数？ 阅读源码后终于稍微了解了一些它的运行机制，总结出它在多线程下正确...
-
浅析DDD(领域驱动设计)
最近在做一些微服务相关的设计，内容包括服务的划分，Restful API的设计等。其中比较棘手的就是Service的职责划分：如何抽象具有统一业务范畴的Model，使其模块化...
-
如何增强推荐系统模型更新的「实时性」？这里是「王喆的机器学习笔记」的第二十二篇文章，上篇文章介绍了推荐系统「实时性」为什么是重要的，以及如何从特征的角度增强推荐结果的实时性。但特征实时性再强，影响的范围也仅限于当...
-
druid segment简介（转）
原文链接：https://blog.csdn.net/mytobaby00/article/details/79801425 Segment是Druid中最基本的数据存储单元...
-
MySQL优化笔记（四）--表的设计与优化（单表、多表）
前面讲了SQL优化以及索引的使用、设计优化了，那么接下来就到表的设计与优化啦！！！真实地去设计优化单表结构以及讲述多表设计基本原则（结合真实的生产环境的取舍来讲述）。 本系列...
-
深入理解Flink中的状态实现
本文是整理自几个月前的内部flink state分享，flink状态所包含的东西很多，在下面列举了一些，还有一些在本文没有体现，后续会单独的挑出来再进行讲解 state的层次...
-
成为架构师，你必须知道的CAP理论CAP定理（CAP theorem）又被称作布鲁尔定理(Brewer's theorem)，是回加州大学伯克得分校的计算机科学家埃里克·布鲁尔（Eric Brewer）在20...
-
Spark源码之Executor&CoarseGrainedExecutorBackend
Spark源码之Executor&CoarseGrainedExecutorBackend介绍篇 CoarseGrainedExecutorBackend和Executor的...
