240 发简信
aaron1993
IP属地：山西
  • HBase学习 - Coprocessor

    本文基于hbase-1.3.0源码 1. 前言 HBase coprocessor(协处理器)按照工作方式分为两种：endpoint和obser...

    1119 0 0
  • maven插件(5) - antrun

    1. antrun 简述 通过antrun插件可以在maven中运行ant task， 具体参考antrun 2. 使用antrun 按照如下格...

    2900 0 0
  • Resize,w 360,h 240
    IDEA远程调试Spark

    1.前言 本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括： 调试spark应用程序，也就是使用spark算子编写的dr...

    0.4 11778 1 9
  • Resize,w 360,h 240
    Spark任务提交过程

    1. 前言 本文主要讲述一下我对spark任务调度过程的理解，必要的地方会配合源码。 2 . Spark任务调度 2.1 基本概念 Job用户提...

    1541 0 1
  • Resize,w 360,h 240
    mr任务提交Yarn运行之前的过程

    578 0 1
  • Resize,w 360,h 240
    JDK并发包 - FutureTask

    1. FutureTask FutureTask实现了Runnable和Future接口，它主要用于包装真实callable或runnable的...

    369 0 0
  • Netty 使用Zero Copy传输文件

    1. Zero Copy传输 一般情况下，将服务器上的文件传输到客户端时，文件在服务端会经历如下copy过程：调用read方法从硬盘读文件到内核...

    2955 0 0
  • Resize,w 360,h 240
    HBase学习 - HFile格式 以及 HFile的读写

    1.前言 HBase的数据最终是以HFile的形式存储在HDFS中的，HBase中HFile有着自己的格式。一次memstore的flush会产...

    0.1 10596 0 1
  • spark如何只在map端做完成reduce的工作

    1. 前言 有时候需要按照key去做reduce操作时，一般情况下调用reduceByKey就可以完成按照key reduce的任务，redu...

    732 0 1
暂无个人介绍