发简信
IP属地：江苏
-
-
Spark内存管理前言 Spark作为一个基于内存的分布式计算引擎，程序在运行时可能会被集群中的任何资源阻塞：CPU | 网络带宽 | 内存。然而Spark的内存...
-
HBase之数据写入再认识前言：本篇文章主要介绍自己工作中对HBase数据写入的一些浅浅的认识和理解。最近刚接到一个需求是将Hive的数据加工处理成用户标签数据存于HBa...
-
HBase 之工作原理借用HBase官网对其的介绍来初步认识一下HBase，当你需要对大量的数据进行随机，实时的读/写访问时，请使用Apache HBase™。这个项...
-
Flink之状态管理
最近看了看Flink中state方面的知识，Flink中的state是啥？state的作用是啥？为什么Flink中引入了state这个概念？既然...
-
Flink之数据流类型Flink为流处理和批处理分别提供了DataStream API和DataSet API。在开发工作中这些API极大的便利了开发者开发大数据应用...
-
ELK 集群搭建本片文章记录的大概是18年ELK的搭建过程，现在找个时间记录下来。由于当时业务没有涉及到Logstash组件的应用，下文介绍不包括Logstas...
-
HBase之数据迁移
由于公司前期没法及时提供生成环境的服务器，导致现有的业务开发在现有的服务器进行，HBase相关的数据在后期需要迁移到新的环境里。HBase数据迁...
-
Flink之参数设置上篇文章啰里啰嗦说了那么多，不知道大家理解的怎么样！写本文也是衔接上篇文章继续学习以便加深对Flink原理的理解。接下来主要是梳理一下-p, -...