115 源码网

使用Hadoop构建云计算平台 内容简介： • 核心框架： HDFS和MapReduce • MapReduce — 任务的分解与结果的汇总 • HDFS — Hadoop Distributed File System • — 分布式计算的基石 Hadoop是一个Apache的开源项目;一个能够对大量数据进行分布式处理的软件架构;假设计算元素和存储会失败，因此维护多个工作;数据副本，确保数据在线迁移; 在很多场合得到应用：Amazon;Yahoo;Facebook。 截图：

云计算Hadoop：快速部署Hadoop集群 内容简介：        近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以通过 Internet 访问“云”中的任何资源，而不需要担心计算能力、带宽、存储、安全性和可靠性等问题。        Apache Hadoop 是一个软件框架，它可以分布式地操纵大量数据。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种 PaaS 模型。        它的设计核心是 MapReduce 实现和 HDFS (Hadoop Distributed File System)，它们源自 MapReduce(由一份 Google 文件引入)和 Google File System。 截图：

vmware虚拟机下hadoop集群安装过程 内容简介：        Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。         本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法，通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程，有人会有疑问在小的虚拟机集群上研究的结果， 写的程序能否在大集群上工作正常?可以肯定的没问题的。有需要的朋友可以下载看看。 截图：

linux hadoop搭建手册以及三种集群模式配置 内容简介：         linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式，分别为单机模式，伪分布模式，完全分布式模式。单机模式和伪分布式模式的配置基本相同，本文档将重点介绍，在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友可以下载看看。 截图：

centos安装配置hadoop超详细过程 内容简介：        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS，Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。        对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。 截图：