115 源码网

Hadoop核心技术 内容简介： 百度资深Hadoop技术专家和高级算法工程师撰写，结合百度大数据实践，直击企业痛点，多位大数据技术专家联袂推荐！ 从使用、原理、运维和开发4个方面深度讲解Hadoop最核心的技术 这是一本技术深度与企业实践并重的著作，由百度顶尖的Hadoop技术工程师撰写，是百度Hadoop技术实践经验的总结。本书使用、实现原理、运维和开发4个方面对Hadoop的核心技术进行了深入的讲解： （1）使用：详细讲解了HDFS存储系统、MapReduce计算框架，以及HDFS的命令系统； （2）原理：结合源代码，深度分析了MapReduce、HDFS、Streaming、Pipes、Hadoop作业调度系统等重要技术和组件的架构设计、工作机制和实现原理； （3）运维：结合百度的实际生产环境，详细讲解了Hadoop集群的安装、配置、测试以及管理和运维； （4）开发：详细讲解了Hadoop Streaming、Pipes的使用和开发实践，以及MapReduce的编程实践和常见问题。 与市面上已有的Hadoop相比，本书的最大不同之处是它直切企业应用和实践Hadoop技术的痛点，深入讲解了企业最需要和最头疼的技术和问题，内容上非常聚焦。 资源目录： 前　言 基　础　篇 第1章　认识Hadoop 2 1.1　缘于搜索的小象 2 1.1.1　Hadoop的身世 2 1.1.2　Hadoop简介 3 1.1.3　Hadoop发展简史 6 1.2　大数据、Hadoop和云计算 7 1.2.1　大数据 7 1.2.2　大数据、Hadoop和云计算的关系 8 1.3　设计思想与架构 9 1.3.1　数据存储与切分 9 1.3.2　MapReduce模型 11 1.3.3　MPI和MapReduce 13 1.4　国外Hadoop的应用现状 13 1.5　国内Hadoop的应用现状 17 1.6　Hadoop发行版 20 1.6.1　Apache Hadoop...

Hadoop海量数据处理 内容简介： Hadoop是目前最受关注的大数据处理平台和解决方案，并且已经广泛应用于生产环境。本书主要介绍Hadoop技术的相关知识，不但详细介绍了Hadoop、MapReduce、HDFS、Hive和Sqoop，还深入探讨了Hadoop的运维和调优，并包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和实现。 本书的最大特点是面向实践。基础篇介绍Hadoop及相关组件的同时，包含了大量动手实例，而应用篇包含的基于Hadoop的完整实例脱胎于生产环境的真实项目。在应用篇中，读者不仅能够通过项目实战巩固基础篇的学习效果，还能学习商业智能系统的开发过程。 本书由浅至深，从理论基础到项目实战，适合Hadoop的初学者阅读，也适合作为高等院校相关课程的教学参考书。 截图：

Splunk大数据分析 内容简介： Splunk是一种典型的大数据处理工具，能够高效地按时序对数据进行存储、索引、访问，已广泛应用在多个领域。本书是介绍如何实时处理大数据并从中获得商业价值的一本实用指南。本书通过真实的大数据分析项目，从数据导入、访问、挖掘和可视化角度全面而系统地介绍Splunk的基本概念和使用方法，以帮助读者快速掌握Splunk。 全书共16章，分为四个部分：第一部分（第1~7章）介绍Splunk的基本操作，包括利用Splunk进行数据收集、处理、分析及结果可视化等的基本操作和命令，以及使用日志文件创建高级数据分析报表的方法；第二部分（第8~11章）使用“航空公司准点性能数据”介绍一个典型的数据分析案例，详细讲解如何运用Splunk深度挖掘现有数据仓库，并介绍一些新的Splunk命令和实用技巧；第三部分（第12~14章）详细介绍如何收集、处理、分析推文和Foursquare的签到信息等，涵盖分析社会化媒体流数据所需的知识；第四部分（第15~16章）详细介绍如何按需求扩展Splunk，以及分布式处理和高可用性的基本概念。此外，还包括两个附录，展示Splunk的性能以及各种可用的应用程序。 资源目录： 第1章　大数据和Splunk / 1 1.1　什么是大数据 / 1 1.2　非传统的数据处理技术 / 5 1.3　Splunk是什么 / 6 1.4　关于本书 / 7 第2章　将数据导入Splunk / 9 2.1　数据的多样性 / 9 2.2　Splunk如何处理多样化的数据 / 10 2.2.1　文件和目录 / 11 2.2.2　数据生成器 / 16 2.2.3　生成样本数据 / 17 2.2.4　网络资源 / 21 2.2.5　Windows数据 / 21 2.2.6　其他资源 /...

Hadoop集群与安全 内容简介： Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节，本书介绍如何手动安装和配置主要的Hadoop组件，以便高效使用Hadoop平台。通过设置一个完全可运行的集群，可对Hadoop内部的运行机制产生更深入的了解，并且有助于你调试任何可能发生的问题。本书还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践，覆盖Kerberos安全协议和Hadoop安全机制的设计，并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。 资源目录： 第1章 导言 1.1 研究日本大众传播学发展脉络的现实背景 1.2 本书的写作视角 1.3 学界对日本大众传播学研究的现状分析 1.4 日本大众传播学研究发展脉络的研究方法 第2章 社会因素对大众传播学研究体系的影响 2.1 思想层面的要因 2.2 日本民族特征对学术研究的影响 第3章 日本大众传播学研究的发展历程 3.1 前大众传播学研究时期的新闻学研究（1929~1948） 3.2 大众传播研究时期（1949~1990） 3.3 社会信息学研究时期（1991~2003） 3.4 信息研究的学科融合时期（2004至今） 第4章 日本大众传播学理论研究的特征 4.1 日本大众传播学研究的理论源流 4.2 社会心理学取向的研究 4.3 大众社会论取向的研究 4.4 马克思主义取向的研究 第5章 扎根于日本社会的大众传播学研究——以灾害信息学研究为例 5.1 灾害信息学研究的开端 5.2 日本灾害信息学研究的历史脉络...

Spark内核设计的艺术架构设计与实现 内容简介： 本书赞誉 前言 第1章　环境准备 ········································1 1.1　运行环境准备 ···········································2 1.1.1　安装JDK ·········································2 1.1.2　安装Scala ········································2 1.1.3　安装Spark ·······································3 1.2　Spark初体验 ···································4 1.2.1　运行spark-shell ·······························4 1.2.2　执行word count ······························5 1.2.3　剖析spark-shell ·······························9 1.3　阅读环境准备 ·········································14 1.3.1　安装SBT ·······································15 1.3.2　安装Git ·········································15 1.3.3　安装Eclipse Scala IDE插件 ········15 1.4　Spark源码编译与调试 ·························17 1.5　小结 ···························23 第2章　设计理念与基本架构 ···············24 2.1　初识Spark ··································25 2.1.1　Hadoop MRv1的局限···················25 2.1.2　Spark的特点 ·································26 2.1.3...

Hadoop大数据开发案例教程与项目实战  内容简介： 本书是一本Hadoop学习入门参考书，全书共11章，分为基础篇和提高篇两部分。基础篇包括第1~6章，具体包括Hadoop概述、Hadoop基础环境配置、分布式存储HDFS、计算系统MapReduce、计算模型Yarn、数据云盘。提高篇包括第7~11章，具体包括协调系统Zookeeper、Hadoop数据库Hbase、Hadoop数据仓库Hive、Hadoop数据采集Flume、OTA离线数据分析平台。全书内容结构合理，知识点全面，讲解详细，重点难点突出。 本书适合作为院校计算机及相关专业大数据课程的教材，也可供学习者自学参考。 资源目录： 基础篇 第1章　Hadoop概述　1 1．1　Hadoop简介　1 1．2　Hadoop相关项目　2 1．3　Hadoop来源　3 1．4　Hadoop的发展史　4 1．5　Hadoop特点　5 1．6　Hadoop体系架构　6 1．6．1　HDFS体系结构　7 1．6．2　MapReduce体系结构　7 本章小结　8 习题　8 第2章　Hadoop基础环境配置　9 2．1　准备Linux环境　9 2．1．1　安装VMware12虚拟机　9 2．1．2　部署CentOS 64位操作系统　11 2．2　Linux配置　16 2．2．1　什么是Linux　16 2．2．2　Linux发行版　16 2．2．3　配置网络　16 2．2．4　Linux终端　17 2．3　Hadoop环境搭建　21 2．3．1　JDK安装和测试　21 2．3．2　Hadoop安装和配置　25 2．3．3　SSH免密码配置　31 本章小结　33 习题　34 第3章　分布式存储HDFS　35 3．1　HDFS概念　35 3．1．1　HDFS简介　35 3．1．2　HDFS设计思路和理念　35 3．2　HDFS体系结构　36 3．3　HDFS文件存储机制　36 3．4　HDFS Shell介绍　39 3．4．1　命令格式　39 3．4．2　HDFS用户命令　40 3．4．3　HDFS管理员命令　40 3．5　Hadoop项目创建　47 3．6　RPC通信原理　53...

大数据技术原理与应用 概念、存储、处理、分析与应用  内容简介： 大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。 大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助读者形成对大数据知识体系及其应用领域的轮廓性认识，为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上，感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书，继续深入学习和实践大数据相关技术。 资源目录： 第一篇大数据基础 第1章大数据概述 1．1大数据时代 1．1．1第三次信息化浪潮 1．1．2信息科技为大数据时代 提供技术支撑 1．1．3数据产生方式的变革促成 大数据时代的来临 1．1．4大数据的发展历程 1．2大数据的概念 1．2．1数据量大 1．2．2数据类型繁多 1．2．3处理速度快 1．2．4价值密度低 1．3大数据的影响 1．3．1大数据对科学研究的影响 1．3．2大数据对思维方式的影响 1．3．3大数据对社会发展的影响 1．3．4大数据对就业市场的影响 1．3．5大数据对人才培养的影响 1．4大数据的应用 1．5大数据关键技术 1．6大数据计算模式 1．6．1批处理计算 1．6．2流计算 1．6．3图计算 1．6．4查询分析计算 1．7大数据产业 1．8大数据与云计算、物联网 1．8．1云计算 1．8．2物联网 1．8．3大数据与云计算、物联网的关系 1．9本章小结 1．10习题 第2章大数据处理架构Hadoop 2．1概述 2．1．1Hadoop简介 2．1．2Hadoop的发展简史 2．1．3Hadoop的特性 2．1．4Hadoop的应用现状...

Hadoop大数据处理 内容简介： 《Hadoop大数据处理》以大数据处理系统的三大关键要素——“存储”、“计算”与“容错”为起点，深入浅出地介绍了如何使用Hadoop这一高性能分布式技术完成大数据处理任务。本书不仅包含了使用Hadoop进行大数据处理的实践性知识和示例，还以图文并茂的形式系统性地揭示了Hadoop技术族中关键组件的运行原理和优化手段，为读者进一步提升Hadoop使用技巧和运行效率提供了颇具价值的参考。 　　《Hadoop大数据处理》共10章，涉及的主题包括大数据处理概论、基于Hadoop的大数据处理框架、MapReduce计算模式、使用HDFS存储大数据、HBase大数据库、大数据的分析处理、Hadoop环境下的数据整合、Hadoop集群的管理与维护、基于MapReduce的数据挖掘实践及面向未来的大数据处理技术。最后附有一个在Windows环境下搭建Hadoop开发及调试环境的参考手册。 　　《Hadoop大数据处理》适合需要使用Hadoop处理大数据的程序员、架构师和产品经理作为技术参考和培训资料，也可作为高校研究生和本科生教材。 资源目录： 第1章　大数据处理概论　1 1.1　什么是大数据　2 1.2　数据处理平台的基础架构　5 1.3　大数据处理的存储　7 1.3.1　提升容量　7 1.3.2　提升吞吐量　11 1.4　大数据处理的计算模式　17 1.4.1　多处理技术　17 1.4.2　并行计算　20 1.5　大数据处理系统的容错性　26 1.5.1　数据存储容错　27 1.5.2　计算任务容错　28 1.6　大数据处理的云计算变革　30 本章参考文献　32 第2章　基于Hadoop的大数据处理架构　35 2.1　Google核心云计算技术　35 2.1.1　并行计算编程模型MapReduce　36 2.1.2　分布式文件系统GFS　38 2.1.3　分布式结构化数据存储BigTable　39 2.2　Hadoop云计算技术及发展　41 2.2.1　Hadoop的由来　41 2.2.2　Hadoop原理与运行机制　42 2.2.3　Hadoop相关技术及简介　45 2.2.4　Hadoop技术的发展与演进　47 2.3　基于云计算的大数据处理架构　48 2.4　基于云计算的大数据处理技术的应用　51 2.4.1　百度　51 2.4.2　阿里巴巴　56 2.4.3　腾讯　58 2.4.4　华为　60 2.4.5　中国移动　62 2.5　Hadoop运行实践　63 本章参考文献　64 第3章　MapReduce计算模式　66 3.1　MapReduce原理　66 3.2　MapReduce工作机制　69 3.2.1　MapReduce运行框架的组件　70 3.2.2　MapReduce作业的运行流程　70 3.2.3　作业调度　72 3.2.4　异常处理　73...