240 投稿
收录了130篇文章 · 383人关注
  • Resize,w 360,h 240
    YARN常见问题与常用配置

    常见问题 YARN集群还有资源,为什么部分任务还是一直处于ACCEPT状态? 大数据集群还剩有很多资源,部分任务还是一直处于ACCEPT状态。首...

  • 关于HIVE

    HQL语句 删除查看语句: 创建语句: 创建内部/外部表 区别:删除表时外部表只会删除元数据不会删除数据本身. hive的三种数据类型 创建分区...

  • 关于HIVE2

    普通查询: 三个排序: 四个分析函数: 放置位置select之前from之后. 当前行跟其他行级联求各种的五个函数 max/min/sum/av...

  • Hadoop—LDAP介绍和使用

    LDAP介绍 LDAP概述   LDAP是轻量目录访问协议,(LDAP, Lightweight Directory Access Protoc...

    0.1 Hughman 0 1
  • 配置微软Azure大数据HDInsight云集群

    配置微软Azure大数据HDInsight云集群,存储账户、托管标识等问题也都参考官方文档解决了。原文在我的开源中国博客:https://my....

  • Resize,w 360,h 240
    MapReduce2深入浅析

    一、MapReduce2工作机制 1.1、MapReduce2的架构图 1.2、MapReduce2运作步骤 说在前头的话,上图中有一个Reso...

  • Resize,w 360,h 240
    hive sql资源调优+数据倾斜解决方案

    一、mapreduce过程资源优化 要了解mapreduce的资源优化,首先应该要熟悉整个mapreduce的过程,可以参考mapreduce2...

  • Resize,w 360,h 240
    Hadoop学习(五)——YARN运行原理剖析

    一、YARN的诞生 在hadoop1.0版本是没有yarn的概念的,而在hadoop2.0版本以上才出现了yarn,人们是希望有一套合理的管理机...

  • Resize,w 360,h 240
    hdfs写之打开文件流<一>

    一、客户端创建写文件的流程图 namenode主要创建客户端RPC请求的准写的文件,namenode会把文件名保存到namespace中,然后返...

    0.1 古语1 0 2
  • Resize,w 360,h 240
    hdfs写之写数据<二>

    一、写数据流程图 该流程主要是客户端开始写数据,然后把数据切分多个chunk,多个chunk组成一个packet,发送到queue中,等待dat...

    0.1 古语1 2 1

专题公告

大数据相关,hadoop家族,CDH...