Hadoop核心技术
云计算教程

Hadoop核心技术

Hadoop核心技术 内容简介: 百度资深Hadoop技术专家和高级算法工程师撰写,结合百度大数据实践,直击企业痛点,多位大数据技术专家联袂推荐! 从使用、原理、运维和开发4个方面深度讲解Hadoop最核心的技术 这是一本技术深度与企业实践并重的著作,由百度顶尖的Hadoop技术工程师撰写,是百度Hadoop技术实践经验的总结。本书使用、实现原理、运维和开发4个方面对Hadoop的核心技术进行了深入的讲解: (1)使用:详细讲解了HDFS存储系统、MapReduce计算框架,以及HDFS的命令系统; (2)原理:结合源代码,深度分析了MapReduce、HDFS、Streaming、Pipes、Hadoop作业调度系统等重要技术和组件的架构设计、工作机制和实现原理; (3)运维:结合百度的实际生产环境,详细讲解了Hadoop集群的安装、配置、测试以及管理和运维; (4)开发:详细讲解了Hadoop Streaming、Pipes的使用和开发实践,以及MapReduce的编程实践和常见问题。 与市面上已有的Hadoop相比,本书的最大不同之处是它直切企业应用和实践Hadoop技术的痛点,深入讲解了企业最需要和最头疼的技术和问题,内容上非常聚焦。 资源目录: 前 言 基 础 篇 第1章 认识Hadoop 2 1.1 缘于搜索的小象 2 1.1.1 Hadoop的身世 2 1.1.2 Hadoop简介 3 1.1.3 Hadoop发展简史 6 1.2 大数据、Hadoop和云计算 7 1.2.1 大数据 7 1.2.2 大数据、Hadoop和云计算的关系 8 1.3 设计思想与架构 9 1.3.1 数据存储与切分 9 1.3.2 MapReduce模型 11 1.3.3 MPI和MapReduce 13 1.4 国外Hadoop的应用现状 13 1.5 国内Hadoop的应用现状 17 1.6 Hadoop发行版 20 1.6.1 Apache Hadoop...
Hadoop海量数据处理
云计算教程

Hadoop海量数据处理

Hadoop海量数据处理 内容简介: Hadoop是目前最受关注的大数据处理平台和解决方案,并且已经广泛应用于生产环境。本书主要介绍Hadoop技术的相关知识,不但详细介绍了Hadoop、MapReduce、HDFS、Hive和Sqoop,还深入探讨了Hadoop的运维和调优,并包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和实现。 本书的最大特点是面向实践。基础篇介绍Hadoop及相关组件的同时,包含了大量动手实例,而应用篇包含的基于Hadoop的完整实例脱胎于生产环境的真实项目。在应用篇中,读者不仅能够通过项目实战巩固基础篇的学习效果,还能学习商业智能系统的开发过程。 本书由浅至深,从理论基础到项目实战,适合Hadoop的初学者阅读,也适合作为高等院校相关课程的教学参考书。 截图:
Splunk大数据分析
云计算教程

Splunk大数据分析

Splunk大数据分析 内容简介: Splunk是一种典型的大数据处理工具,能够高效地按时序对数据进行存储、索引、访问,已广泛应用在多个领域。本书是介绍如何实时处理大数据并从中获得商业价值的一本实用指南。本书通过真实的大数据分析项目,从数据导入、访问、挖掘和可视化角度全面而系统地介绍Splunk的基本概念和使用方法,以帮助读者快速掌握Splunk。 全书共16章,分为四个部分:第一部分(第1~7章)介绍Splunk的基本操作,包括利用Splunk进行数据收集、处理、分析及结果可视化等的基本操作和命令,以及使用日志文件创建高级数据分析报表的方法;第二部分(第8~11章)使用“航空公司准点性能数据”介绍一个典型的数据分析案例,详细讲解如何运用Splunk深度挖掘现有数据仓库,并介绍一些新的Splunk命令和实用技巧;第三部分(第12~14章)详细介绍如何收集、处理、分析推文和Foursquare的签到信息等,涵盖分析社会化媒体流数据所需的知识;第四部分(第15~16章)详细介绍如何按需求扩展Splunk,以及分布式处理和高可用性的基本概念。此外,还包括两个附录,展示Splunk的性能以及各种可用的应用程序。 资源目录: 第1章 大数据和Splunk / 1 1.1 什么是大数据 / 1 1.2 非传统的数据处理技术 / 5 1.3 Splunk是什么 / 6 1.4 关于本书 / 7 第2章 将数据导入Splunk / 9 2.1 数据的多样性 / 9 2.2 Splunk如何处理多样化的数据 / 10 2.2.1 文件和目录 / 11 2.2.2 数据生成器 / 16 2.2.3 生成样本数据 / 17 2.2.4 网络资源 / 21 2.2.5 Windows数据 / 21 2.2.6 其他资源 /...
Hadoop集群与安全
云计算教程

Hadoop集群与安全

Hadoop集群与安全 内容简介: Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节,本书介绍如何手动安装和配置主要的Hadoop组件,以便高效使用Hadoop平台。通过设置一个完全可运行的集群,可对Hadoop内部的运行机制产生更深入的了解,并且有助于你调试任何可能发生的问题。本书还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践,覆盖Kerberos安全协议和Hadoop安全机制的设计,并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。 资源目录: 第1章 导言 1.1 研究日本大众传播学发展脉络的现实背景 1.2 本书的写作视角 1.3 学界对日本大众传播学研究的现状分析 1.4 日本大众传播学研究发展脉络的研究方法 第2章 社会因素对大众传播学研究体系的影响 2.1 思想层面的要因 2.2 日本民族特征对学术研究的影响 第3章 日本大众传播学研究的发展历程 3.1 前大众传播学研究时期的新闻学研究(1929~1948) 3.2 大众传播研究时期(1949~1990) 3.3 社会信息学研究时期(1991~2003) 3.4 信息研究的学科融合时期(2004至今) 第4章 日本大众传播学理论研究的特征 4.1 日本大众传播学研究的理论源流 4.2 社会心理学取向的研究 4.3 大众社会论取向的研究 4.4 马克思主义取向的研究 第5章 扎根于日本社会的大众传播学研究——以灾害信息学研究为例 5.1 灾害信息学研究的开端 5.2 日本灾害信息学研究的历史脉络...