240 发简信
IP属地:浙江
  • kafka

    kafka 是一个分布式的,分区的,复制的提交日志服务 分布式:kafka可以提供集群服务,它是由一个或者多个broker组成,每个broker...

  • Resize,w 360,h 240
    spark 相关总结

    spark 部署有几种模式spark 可分为单机模式和集群模式集群模式又可分为standalone独立集群模式,yarn 集群模式和mesos集...

  • Resize,w 360,h 240
    spark on hbase 读写

    本文主要讲述了spark对hbase进行独写的两种方式,这两种方式分别为:1.利用spark提供的 newAPIHadoopRDD api 对h...

  • Resize,w 360,h 240
    hdfs 故障切换

    hdfs 集群为我们提供分布式的存储资源,hdfs 主要由namenode 和 datanode 组件构成,文件在hdfs中是以块来存储的,根据...

  • Resize,w 360,h 240
    mr

    mr 的设计思想是分而治之,它分为两个阶段,分别为map阶段和reduce阶段,map阶段体现了分的思想,将一个复杂的任务分解成若干个简单的任务...

  • hadoop 小文件处理方案

    hadoop hdfs 被设计用作海量数据存储,适合存储大文件,文件在hdfs中是以block的形式存储的,在hadoop 1.x中,hdfs ...

  • Resize,w 360,h 240
    hbase bulkload 写入数据

    hbase 写入数据有以下三种方式: 1.利用hbase提供的api写入 2.通过mr任务将数据写入 3.通过bulkload工具将数据写入 前...

  • Resize,w 360,h 240
    hbase bulkload 写入数据

    hbase 写入数据有以下三种方式: 1.利用hbase提供的api写入 2.通过mr任务将数据写入 3.通过bulkload工具将数据写入 前...

  • Resize,w 360,h 240
    jvm

    笔者最近学习jvm 的内存模型,这里根据下面几个模块来做个总结: 1.jvm的内存模型 2.jvm gc原理 jvm的内存模型 jvm 的内存模...