240 发简信
IP属地:陕西
  • 通过Ambari Rest API获取hadoop组件配置

    Ambari UI上可以很方便地查看及修改hadoop组件的配置.在Java代码中通过client访问,往往需要通过设置环境变量导入相关的配置, 如果能通过Ambari Re...

  • 120
    Structured streaming+kafka集成样例

    关于structured streaming, spark社区已经有很多文章介绍,个人认为其中最大的特点是将流视作没有边界的大表,从而能够使用sql来操作这张表,其中包括使用...

  • Yarn集群的任务调度优化经验

    任务调度优化经验:细分队列,合理利用调度策略,提升集群资源利用率   相信目前很多生产系统,都使用了多租户模式管理所有进驻大数据平台的应用方,租户模式的优势,想必大家都有所了...

  • 120
    Spark内存管理

    本文基于Spark 1.6.0之后的版本Spark 1.6.0引入了对堆外内存的管理并对内存管理模型进行了改进,SPARK-11389。 从物理上,分为堆内内存和堆外内存;从...

  • 120
    数据挖掘的入门概念

    1 数据挖掘 数据挖掘(Data Mining,简称DM),是指从大量的数据中,挖掘出未知的且有价值的信息和知识的过程 2 机器学习 与 数据挖掘 与数据挖掘类似的有一个术语...

  • 120
    浅尝HDP2.6

    环境准备(单节点伪分布) 安装包下载 RedHat 6 / CentOS 6 / Oracle Linux 6 -- Ambari-2.5.0下载地址:http://publ...

  • Ambari Issue Highlights

    不定期更新 收录各种奇葩问题 ambari安装之后,启动hive MetaStore时报错 Solution:hive配置的mysql登陆密码,与mysql设置的hive用户...