240 发简信
IP属地:陕西
  • Resize,w 360,h 240
    Hbase笔记

    hbase是谷歌bigdata论文的一个代码实现,hbase是开源软件,在大数据处理领域应用广泛。今天楼主先来介绍一些基本原理,后面用工程代码方...

  • Resize,w 360,h 240
    hive学习笔记

    1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以...

  • Resize,w 360,h 240
    namenode-HA

    Namenode在HDFS中是一个非常重要的组件,相当于hadoop集群系统的心脏,在显示分布式集群环境中,还是会有可能出现Namenode的崩...

  • Resize,w 360,h 240
    Zookeeper的实现机制

    一、什么是Zookeeper Zookeeper是一个hadoop的分布式协调服务,它包含一个简单的源语集。分布式应用程序可以基于它市县同步服务...

  • Resize,w 360,h 240
  • Resize,w 360,h 240
    MR的shuffle机制

    Shuffle过程是MapReduce的核心,描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境,...

  • Resize,w 360,h 240
    MapReduce提交job处理过程及yarn框架机制

    处理过程: 1.mp程序产生RunJar进程向resource manager申请执行一个job 2.resource manager返回job...

  • Resize,w 360,h 240
    hadoop中MapReduce工作机制

    在MapReduce整个过程可以概括为以下过程: 输入 --> map --> shuffle --> reduce -->输出 输入文件会被切...

  • Resize,w 360,h 240
    NameNode和SecondaryNameNode工作机制

    一. HDFS存储过程: 1.客户端需要存储一份文件(客户端进行切分),需要查询NN中的元数据。若文件以及存在则拒绝存储。 2.NN返回为客户端...

    0.2 536 0 4 1