Hadoop学习笔记(2)
——解读Hello World
上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。
OK，我们先来看一下当时在命令行里输入的内容：
$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*
第1行，容易理解，我们在hadoop文件夹下建了一个input子文件夹；
第2行，进入input文件夹；
第3行，echo是指回显示，可以理解为print， 大于符（>）为重定向，正常echo是显示在屏幕上，而用了重定向后，即内容显示在了text1.txt文件里。那这句话意思是，创建一个test1.txt文件，其内容是"hello world"。 第4行类同；
第5行，回上一级目录
第6行，这里运行了一个hadoop命令， 参数为 dfs –put input in 意思是将input文件夹上传到hadoop文件系统中，并存于目录in中。
第7行，同样是hadoop命令，参数 jar XXX.jar wordcount in out 是指运行jar程序中wordcount类的程序，并传入参数 in out。 in 为输入目录 out 为输出结果目录，两个目录皆为hadoop文件系统中的目录，而并不是当前操作系统目录了。在第7行后，会看到屏幕在刷，是在计算。
第8行，cat是linux常用的命令，是将指定文件中的文本内容输出。 所以这里 cat out/* 是指把out文件夹下所有文件的文本内容输出，同时注意这里是dfs即是在hadoop文件系统中,且这个out正是第7步程序中输出的目录。所以输入该命令后，我们看到了下面的结果：
这个简单的程序目的是什么，其实比较容易看出来了，就是统计每个文件中的单词出现的数量，并将结果合并后显示出来。
可能有人就想，有什么啊，这程序我们C#、java几行代码也就实现了，有什么特别的？的确，初看过程就是。但我们深入来看一下。Hadoop的框架最核心的设计就是：HDFS和MapReduce。
HDFS就是分布式数据存储，这就不一样了，也就是说我的这里需要统计的文件很多的话，可能就不存在一台机器上了，而且存在不同机器上，不需要我们人为控制，而是交给Hadoop自动完成，而我们，只需要统一的接口(bin/Hadoop dfs)来访问:
MapReduce当然就是负责计算咯，回头一想，的确这程序不简单，统计一个文件单词出现的频率容易，但时如果这些文件是分布在不同机器上，然后又需要将结果能很方便的合并起来，那就不是简单几行代码就能搞定的了。所以MapReduce就是来负责这一块的。
看到这里，我们就理解了上面的hello world,但是马上会想，这个hadoop有哪些应用场景呢？或为什么它这现在这么牛，这么流行？
现在是一个大数据时代，首先是一个存储问题，hadoop提供了一个很好的分布式文件系统，方便我们存大量数据，同时提供了统一接口。
其次，拥有了大数据，不代表能产生价值，在产生价值，就必须利用这些数据进行计算（查询、分析等），但时传统的计算就是在一台或多台机器上部署程序，然后把数据获通过接口抓取到程序里进行分析，这称之为移动数据。而hadoop不是，而是把程序自动分发到各hadoop结点上进行计算，然后通过一定机制把结果进行汇总最后返回出来,这称之为移动计算。显然，移动计算要比移动数据成本要低得多。
应用场景之一：就是搜索引擎，现在互联网数据海量，如何存储并搜索成为难点，那hadoop的两大核心框架就正符合这用处，用网络爬虫取来的海量网页数据存于分布式库，然后当去搜索时，通过各子结点并发搜索，将数据返回合并后展示。 而hadoop的产生，也就是在google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文，即google的三驾马车。Hadoop的HDFS对就google的GFS，MapReduce对就google的MapReduce，Hadoop的HBase对应google的BigTable。 （注：HBase是其于hadoop开发的类似数据操作的软件）。
应用场景之二：生物医疗，大量DNA数据存储，同时要进行比对工作，用Hadoop再合式不过了。
当然还有N多其他应用场景……
到现在hadoop的核心价值总算摸清了，一是分布式存储，二是移动计算。
为了支撑这些功能，肯定会用到不少的进程，现在我们就来了解下这些进程以及相应的命令。
我们知道，运行$bin/start-all.sh来启动整个hadoop。然后运行$bin/jps可以看到所有运行的进程：
这些进程现在是安装在同一台机器上的，而实际分布式部署时，如下图：
NameNode：是HDFS的守护进程,负责记录文件是如何分割成数据块以及分配存储到哪个DataNode节点上，对内存及I/O进行集中管理。一个系统中只会有一个NameNode。
DataNode：数据结点，负责将数据包读写到硬盘上。当客户端需要数据通讯时，先问NameNode获取存放到哪个DataNode,然后，客户端直接与DataNode进行通讯。
SecondaryNameNode：用来监控HDFS状态的辅助进程。与NameNode不同的时，它不接收或记录任何实时的数据变化，只与NameNode进行通信，以便定期地保存HDFS元数据的快照。由于NameNode是单点的，通过SecondaryNameNode的快照功能，可以将NameNode的宕机时间和数据损失降低到最小。同时NameNode发生问题时，Secondary NameNode可以及时地作为备用NameNode使用。
JobTracker：应用程序与Hadooop之间的纽带，代码提交到集群上，JobTracker将会确定执行计划，包括决定处理哪些文件，为不同的任务分配节点以及监察所有任务的运行，如果任务失败，JobTracker将会自动重启，但分配的节点可能会不同。
TaskTracker：负责执行由JobTracker分配的单项任务，虽然单个结点上只有一个TaskTracker，但可以利用多个JVM(Java虚拟机)并行处理多个Map或reduce任务。
了解了进程后，我们再来了解下有哪些文件操作命令，
bin/hadoop是一个批处理sh文件（与bat类似），运行时需要输入子命令。子命令列表如下：
这里比较清楚了，各个子命令的描述，但这里有下fs，是我们常用的，同里里面会还有N多子命令，比如bin/hadoop fs -ls 列出文件内容。
其它fs参数清单如下：
命令
说明
[-ls ]
列出文件夹下的内容
[-lsr ]
递归列出文件夹下的内容
[-du ]
显示文件点用空间
[-mv ]
移动文件
[-cp ]
复制文件
[-rm [-skipTrash] ]
删除文件
[-rmr [-skipTrash] ]
删除文件夹
[-put ... ]
将本地文件上传到服务器上
[-copyFromLocal ... ]
将服务器文件下载到本地
[-moveFromLocal ... ]
将服务器文件移至到本地
[-get [-ignoreCrc] [-crc] ]
将服务器文件下载到本地
[-getmerge [addnl]]
将服务器文件夹内文件合并后下载到本地
[-cat ]
显示文件的文本内容
[-text ]
显示文件文本内容
[-copyToLocal [-ignoreCrc] [-crc] ]
复制文件(夹)到本地
[-moveToLocal [-crc] ]
移动文件(夹)到本地
[-mkdir ]
创建文件夹
[-setrep [-R] [-w] ]
设置文件的复制数量
[-touchz ]
写一个时间戳放在文件同级目录
[-test -[ezd] ]
测试文件是否存在
[-stat [format] ]
返回文件状态
[-tail [-f] ]
显示文件最后1KB的内容
[-chmod [-R] PATH...]
修改文件（夹）属性
[-chown [-R] [OWNER][:[GROUP]] PATH...]
修改文件owner属性
[-chgrp [-R] GROUP PATH...]
修改文件（夹）属性
[-help [cmd]]
显示帮助
需要案例实战的可以戳这里http://www.bdtbus.com
