发简信
IP属地：浙江
-
一次HBase集群崩溃的修复历程
【前言】最近部门因为数据安全问题需要迁移线上生产环境HBase集群的网段，在集群重启后发生如下两个错误，导致HBase集群无法正常恢复：（1）H...
-
HDFS Trash功能详解【前言】对于线上生产环境的HDFS，开启回收站功能是必不可少的。该功能类似于linux系统的回收站设计，HDFS会为每个用户创建一个专属的回收站...
-
HDFS balance策略详解
【前言】线上长时间运行的大规模Hadoop集群，各个datanode节点磁盘空间使用率经常会出现分布不均衡的情况，尤其在新增和下架节点、或者人为...
-
Spark源码编译
前言：因为线上生产环境和实际业务需求的复杂性，不可避免地需要修改spark源码，重新编译并测试完成后应用于线上生产环境。本文主要介绍作者在Lin...
-
zookeeper技术内幕【简介】zookeeper是为分布式应用所设计的高可用、高性能且一致的开源协调服务，是大数据分布式集群的基础组件，为集群提供分布式锁服务。同时，...
-
生产环境NameNode可靠性保证
前言：Hadoop NameNode节点维护了整个HDFS集群所有的元数据信息，一旦NameNode发生脑裂，或者服务不可用，整个HDFS集群都...
-
NameNode HA实现原理前言：在Hadoop 1.x版本，HDFS集群的NameNode一直存在单点故障问题：集群只存在一个NameNode节点，它维护了HDFS所有的...
-
Spark版本升级二三事
起因：部门准备将数据仓库开发工具从Hive SQL大规模迁移至Spark SQL。此前集群已经自带了Spark-1.5.2，系HDP-2.3.4...
-
NameNode HA异常调查
【起因】22:31:04分被通知集群异常，无法正常处理调度任务；远程登录查看，发现HDFS NameNode发生脑裂； NameNode节点：n...