Avatar notebook default
Hadoop技术文档
11篇文章 · 9716字 · 5人关注
  • Resize,w 360,h 240
    Hadoop--DataNode工作机制

    DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，...

    0.1 630 0 1
  • Hadoop--Hadoop集群守护进程

    1 namenode :它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有 metadate； 2 Quoru...

    0.1 896 0 1
  • Resize,w 360,h 240
    Hadoop--NameNode工作机制

    NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动（1）第一次启动namenode格式化后，创建...

    0.1 1639 0 1
  • Resize,w 360,h 240
    Hadoop--hdfs写数据/读数据流程

    Hadoop写数据流程 1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文...

    0.1 2118 0 1
  • Resize,w 360,h 240
    Hadoop--Yarn资源调度器

    Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.x默认的资源...

    0.2 381 0 2
  • Resize,w 360,h 240
    Hadoop--Yarn概述/基础架构/工作机制

    Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当...

    0.6 620 0 2
  • Hadoop-面试选择题

    Attention Please--文章来自互联网资料整理，如有雷同，纯属李小李抄袭，如有侵权请联系删除 From 李小李面试题源自互联网收集整...

    0.1 1456 0 1
  • Hadoop--ReduceTask机制

    1）设置ReduceTask reducetask的并行度同样影响整个job的执行并发度和执行效率，但与maptask的并发数由切片数决定不同，...

    0.1 794 0 1
  • Resize,w 360,h 240
    Hadoop--Shuffle机制

    Shuffle机制 Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）...

    0.1 1501 0 3

文集作者