Hadoop是什么框架（Hadoop是什么）

大家好,综合小编来为大家讲解下Hadoop是什么框架，Hadoop是什么这个很多人还不知道,现在让我们一起来看看吧！

Hadoop框架的核心设计是HDFS和MapReduce。HDFS提供海量数据的存储，MapReduce提供数据的计算。

Hadoop中数据处理的过程可以简单理解为下图：Haddop集群处理数据，得出结果。

HDFS: Distributed file system of distributed file system.

大文件被分成默认的64M块，存储在集群机器中。

下图中的文件data1分为三块，以冗余镜像的形式分布在不同的机器上。

在这个任务中，依次处理这个拆分中的记录，映射将以键-值的形式输出结果。hadoop负责根据键值整理出map的输出作为Reduce的输入，Reduce任务的输出就是整个作业的输出。

Hadoop的集群主要由NameNode、DataNode、辅助NameNode，JobTracker，TaskTracker组成。

如下图所示：

NameNode记录文件如何被分成块，这些块存储在这些DateNode节点中。

NameNode还保存文件系统运行的状态信息。

存储在DataNode中的是破碎块。

辅助NameNode帮助NameNode收集文件系统操作的状态信息。

JobTracker负责任务提交到Hadoop集群时的作业运行和调度多个TaskTracker。

本文[高级伪原创标题]到此分享完毕，希望对大家有所帮助。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！