mapreduce计算模型,mapreduce简介

mapreduce计算模型,mapreduce简介

MapReduce是谷歌公司的核心计算模型，Hadoop开源实现了MapReduce。MapReduce将复杂的、运行于大规模集群上的并行计算过程高度抽象到了两个函数：Map和Reduce,并极大地方便了分布式编MapReduce简介MapReduce是一个基于集群的高性能并行计算平台。它可以被部署在廉价的包含数十、数百至数千个节点的分布和并行计算集群。MapReduce是一个分布式并行计算的软件

之前写过关于Hadoop方面的MapReduce框架的文章MapReduce框架Hadoop应用(一)介绍了MapReduce的模型和Hadoop下的MapReduce框架，此文章将进一步介绍mapreduce计算模型能用于解决什么问在没有reduce任务时，系统会直接将map的输出结果作为最终的结果，同时map task的数量可以看成是reduce task的数量，即有多少个maptask就有多少个输出文件MR任务

二、MapReduce的计算模型(一)、MapReduce Job 1、组成：每个MapReduce任务都被初始化成一个Job,每个Job包括两个阶段：map阶段(对应map函数)和reduce阶段(对应reduce函数) 2、MapReduc2.1MapReduce编程模型适合用MapReduce来处理的数据集（或任务）有一个基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行的进行处理。MapReduce

≥＾≤ 模型架构在Hadoop中，用于执行计算任务(MapReduce任务)的机器有两个角色：一个是JobTracker,一个是TaskTracker,前者用于管理和调度工作，后者用于执行工作。一般来说，一个Hadoop集群既然是做计算的框架，那么表现形式就是有个输入(input),MapReduce操作这个输入(input),通过本身定义好的计算模型，得到一个输出(output)。对许多开发者来说，自己完完全全实现一个并