Hadoop技术内幕深入解析YARN架构设计与实现原理
Hadoop技术内幕深入解析YARN架构设计与实现原理 内容简介： 本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。 全书共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对Facebook Corona和Apache Mesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。 资源目录： 前 言 第一部分 准备篇 第1章 环境准备 2 1.1 准备学习环境 2 1.1.1 基础软件下载 2 1.1.2 如何准备Linux环境 3 1.2 获取Hadoop源代码 5 1.3 搭建Hadoop源代码阅读环境 5 1.3.1 创建Hadoop工程 5 1.3.2 Hadoop源代码阅读技巧 8 1.4 Hadoop源代码组织结构 10 1.5 Hadoop初体验 12 1.5.1 搭建Hadoop环境 12 1.5.2 Hadoop Shell介绍 15 1.6 编译及调试Hadoop源代码 16 1.6.1 编译Hadoop源代码 17 1.6.2 调试Hadoop源代码 18 1.7 小结 20 第2章 YARN设计理念与基本架构 21 2.1 YARN产生背景...
