115 源码网

大数据日知录：架构与算法 内容简介： 大数据是当前最为流行的热点概念之一，其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象，作为最明确的技术发展趋势之一，基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。 《大数据日知录：架构与算法》从架构与算法角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多且正处于快速演进发展过程中等特点，其技术点包括底层的硬件体系结构、相关的基础理论、大规模数据存储系统、分布式架构设计、各种不同应用场景下的差异化系统设计思路、机器学习与数据挖掘并行算法以及层出不穷的新架构、新系统等。《大数据日知录：架构与算法》对众多纷繁芜杂的相关技术文献和系统进行了择优汰劣并系统性地对相关知识分门别类地进行整理和介绍，将大数据相关技术分为大数据基础理论、大数据系统体系结构、大数据存储，以及包含批处理、流式计算、交互式数据分析、图数据库、并行机器学习的架构与算法以及增量计算等技术分支在内的大数据处理等几个大的方向。通过这种体系化的知识梳理与讲解，相信对于读者整体和系统地了解、吸收和掌握相关的优秀技术有极大的帮助与促进作用。 《大数据日知录：架构与算法》的读者对象包括对NoSQL 系统及大数据处理感兴趣的所有技术人员，以及有志于投身到大数据处理方向从事架构师、算法工程师、数据科学家等相关职业的在校本科生及研究生。 资源目录： 第0 章 当谈论大数据时我们在谈什么……………. 1 第1 章 数据分片与路由………………………………………. 9 第2 章 数据复制与一致性…………………………………………20 第3 章 大数据常用的算法与数据结构………………………………51 第4 章 集群资源管理与调度…………………………………71 第5 章 分布式协调系统……………………………..91 第6 章 分布式通信…………………………106 第7 章 数据通道…………………………………..120 第8 章 分布式文件系统………………………………131 第9 章 内存KV 数据库……………………………..168 第10 章 列式数据库…………………………………….176 第11 章 大规模批处理系统……………………………..199...

Hadoop技术内幕深入解析YARN架构设计与实现原理 内容简介： 本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。 全书共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对Facebook Corona和Apache Mesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。 资源目录： 前　言 第一部分　准备篇 第1章　环境准备 2 1.1　准备学习环境 2 1.1.1　基础软件下载 2 1.1.2　如何准备Linux环境 3 1.2　获取Hadoop源代码 5 1.3　搭建Hadoop源代码阅读环境 5 1.3.1　创建Hadoop工程 5 1.3.2　Hadoop源代码阅读技巧 8 1.4　Hadoop源代码组织结构 10 1.5　Hadoop初体验 12 1.5.1　搭建Hadoop环境 12 1.5.2　Hadoop Shell介绍 15 1.6　编译及调试Hadoop源代码 16 1.6.1　编译Hadoop源代码 17 1.6.2　调试Hadoop源代码 18 1.7　小结 20 第2章　YARN设计理念与基本架构 21 2.1　YARN产生背景...