背景 在调度系统中存在很多定时执行的任务，这些任务有不同的执行周期，比如有每分钟、每小时、每天执行一次的，也有可能是半天执行一次的，且这些任务之间需要建立依赖关系，组成一个数...
发简信
IP属地：上海
-
调度系统中不同周期任务依赖的方法（1）
-
clickhouse + chproxy 集群搭建集群规划 集群架构 其中 Distribute 是指创建分布式表的机器，在此文章中是将 Distribute 单独部署的，也可以将 Distribute 角色划分到每个 Re...
-
@FinalFantasyXX 哈哈 被apache喂胖了 思路是这样 可以自己试着实现
饿了么元数据管理实践之路
大数据挑战 多种执行、存储引擎，分钟、小时、天级的任务调度，怎样梳理数据的时间线变化？ 任务、表、列、指标等数据，如何进行检索、复用、清理、热度Top计算？ 怎样对表、列、指...
-
Apache Flink源码解析 （五）DataStream API概述 这篇文章是但不仅仅是官方文档的中文翻译，还有里面每一个方法对应的Transformation和运行时对Task的影响。 Prerequisites 关于算子想说的有很多...
-
饿了么元数据管理实践之路
大数据挑战 多种执行、存储引擎，分钟、小时、天级的任务调度，怎样梳理数据的时间线变化？ 任务、表、列、指标等数据，如何进行检索、复用、清理、热度Top计算？ 怎样对表、列、指...
-
Dr.Elephant源码分析--MapReduce
Job日志 mapred-site.xml配置任务执行日志路径(hdfs) 作业启动时，hadoop会将作业信息放在${yarn.app.mapreduce.am.stagi...
-
加油
BroadcastManager--SparkEnv
Broadcast是分布式的数据共享，由BroadcastManager负责管理其创建或销毁。Broadcast一般用于处理共享的配置文件、通用Dataset、常用数据结构 ...
-
BroadcastManager--SparkEnv
Broadcast是分布式的数据共享，由BroadcastManager负责管理其创建或销毁。Broadcast一般用于处理共享的配置文件、通用Dataset、常用数据结构 ...
-
SerializerManager--SparkEnv
SparkEnv中有两个序列化的组件，分别是SerializerManager和closureSerializer SerializerManager集成序列化、压缩、加密的...
-
度量系统--MetricsSpark的度量系统有以下几部分，也可以参照MetricsSystem类的注释部分 Instance: 数据实例。Spark的Instance有Master、Worker、A...
-
事件总线--ListenerBusSpark中很多组件都是靠RPC、事件消息机制实现通信的。前者解决远程通信问题，后者则是本地较为高效的通信方式 定义ListenerBus Spark定义了一个trait的L...
-
彻底理解ThreadLocalThreadLocal的作用是提供一个线程的局部变量，比如context、session。是直接把某个对象在各自线程中实例化一份，每个线程都有属于自己的该对象。ThreadL...
-
用Optional取代null
创建Optional对象 Optional.empty()：声明一个空Optional Optional.of()：依据一个非空值创建Optional Optional.of...
-
Function、Predicate、Consumer、Supplier接口
这些接口都有一个@FunctionalInterface注解，表明这个接口将是一个函数式接口，里面只能有一个抽象方法 Function Function<T, R> => R...
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
-
每个人都是生活家 1.生活家收录范围：美食、美妆护肤、穿搭、手工手账、旅行攻略、购物指南以及测评、宠物植物、育儿指南、家装指南、运动健身（非专业）、健康养生、及其他贴近生活的兴趣爱好 所有让生活变得更好的技能和经验，（比如教你p照片，记录瘦身过程等）纯粹生活感悟不收 2.内容原创、鼓励从生活中的自身经验发掘生活的美好与乐趣，鼓励图文并茂。 3. 文内不得出现个人推广性质的额外链接，例如微信号，微博。更不得在通过投稿后再修改文章加入推广信息。 专题主编： 迷蝴庄生 http://www.jianshu.com/u/257421ea813e 简书生活家微信群已建立，加入请添加有爱的生活家小助手微信Hedy3680（欢姐），拉入群。添加请备注“我爱生活家”。 关注简书官方微信公众号（jianshuio），及时阅读简书热门好文。
