13.3　Hadoop

作为当今大数据处理领域的经典分布式平台，Apache Hadoop主要基于Java语言实现，由三个核心子系统组成：HDFS、YARN、MapReduce，其中，HDFS是一套分布式文件系统；YARN是资源管理系统，MapReduce是运行在YARN上的应用，负责分布式处理管理。如果从操作系统的角度看，HDFS相当于Linux的ext3/ext4文件系统，而Yarn相当于Linux的进程调度和内存分配模块。参见图13-2。

13.3　Hadoop - 图1

13.3　Hadoop - 图2

图13-2　Apache Hadoop生态系统

1.使用官方镜像

可以通过docker run指令运行镜像，同时打开bash命令行，如下所示：

  1. $ docker run -it sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash
  2. bash-4.1#

此时可以查看各种配置信息和执行操作，例如查看namenode日志等信息：

  1. bash-4.1# cat /usr/local/hadoop/logs/hadoop-root-namenode-d4e1e9d8f24f.out
  2. ulimit -a for user root
  3. core file size (blocks, -c) 0
  4. data seg size (kbytes, -d) unlimited
  5. scheduling priority (-e) 0
  6. file size (blocks, -f) unlimited
  7. pending signals (-i) 7758
  8. max locked memory (kbytes, -l) 64
  9. max memory size (kbytes, -m) unlimited
  10. open files (-n) 1048576
  11. pipe size (512 bytes, -p) 8
  12. POSIX message queues (bytes, -q) 819200
  13. real-time priority (-r) 0
  14. stack size (kbytes, -s) 8192
  15. cpu time (seconds, -t) unlimited
  16. max user processes (-u) unlimited
  17. virtual memory (kbytes, -v) unlimited
  18. file locks (-x) unlimited

2.安装验证

需要验证Hadoop环境是否安装成功。打开容器的bash命令行环境，进入Hadoop目录：

  1. bash-4.1# cd $HADOOP_PREFIXbash-4.1# pwd/usr/local/hadoop

然后通过运行Hadoop内置的实例程序来进行测试：

  1. bash-4.1# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar 
  2.     grep input output 'dfs[a-z.]+'
  3. 16/08/31 10:00:11 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
  4. 16/08/31 10:00:15 INFO input.FileInputFormat: Total input paths to process : 31
  5. 16/08/31 10:00:16 INFO mapreduce.JobSubmitter: number of splits:31
  6. ...

最后可以使用hdfs指令检查输出结果：

  1. bash-4.1# bin/hdfs dfs -cat output/*