下列有关MapReduce计算框架的描述正确的是()。
A.MapReduce可以计算任务的划分和调度;
B.MapReduce可完成数据的分布存储和划分;
C.MapReduce可以实现处理系统节点出错检测和失效恢复;
D.MapReduce可实现处理数据与计算任务的同步;
A.MapReduce可以计算任务的划分和调度;
B.MapReduce可完成数据的分布存储和划分;
C.MapReduce可以实现处理系统节点出错检测和失效恢复;
D.MapReduce可实现处理数据与计算任务的同步;
A.MapReduce采用“ 分而治之”策略
B.MapReduce设计的一个理念就是“ 计算向数据靠拢”
C.MapReduce框架采用了Master/Slave架构
D.MapReduce应用程序只能用Java来写
A.MapReduce是一种计算框架
B.Google发表了MapReduce的学术论文
C.MapReduce只能用Java编写
D.MapReduce隐藏了并行计算的细节,方便使用
A.复杂的批量数据处理:MapReduce
B.基于历史数据的交互式查询:Impala
C.基于实时数据流的数据处理:Storm
D.图结构数据的计算:Hive
B.大规模并行计算:在分布式并行环境中将一个任务分解成更多份细粒度的子任务,这些子任务在空闲的处理节点之间被调度和快速处理之后,最终通过特定的规则进行合并生成最终的结果。典型技术为MapReduce
C.结构化分布式数据存储:类似文件系统采用数据库来存储结构化数据,云计算也需要采用特殊技术实现结构化数据存储,典型技术为BigTable/Dynamo等
D.分布式文件系统:可扩展的支持海量数据的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能(通常保留数据的3份拷贝),典型技术为GFS/HDFS/KFS等
A.分布式文件存储系统(HDFS)
B.分布式计算框架(MapReduce)
C.分布式资源调度系统(Yarn)
D.数据处理方法(DPW)
A.MPI适用于数据相关性强,迭代次数多的计算
B.MapReduce适用于大规模数据处理,节点失效对系统无影响
C.MPI设计前提是计算相关性强,硬件容易坏
D.MapReduce设计前提是数据全局性弱,硬件是容易坏的