技术教程

大数据：正在到来的数据革命 内容简介： 入榜《亚洲周刊》“年度十大好书”，持续畅销；叫醒中国，领跑大数据时代最好的书。 　　中国高层人物汪洋，读后非常有启发，针对国人数据意识的淡薄由来已久，中国如何应对大数据时代的挑战，他在工作会议上说：“我希望大家能认真读一读这本书，带着问题读，带着想法读。” 　　哈佛大学商学院访问教授、全球顶尖管理咨询师达文波特，为中国政经两界提示智库建言：“无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。” 　　史学大家、匹兹堡大学历史系荣誉讲座教授许倬云，有感于“老大哥”的影子，专门作序：“我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。” 　　美国第一，中国第几？公布官员财产美国是怎么做的，美国能让少部人腐败起来吗，美国式上访是怎么回事，凭什么美国矿难那么少，全民医改美国做得到吗，美国总统大选有什么利器才能赢，下一轮全球洗牌我们世界工厂会被淘汰吗…… 　　除了上帝，任何人都必须用数据来说话。 　　大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。 　　大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？ 　　本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。 　　美国是全书主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，又新增微学校、微学位等教育领域正在发生的革命，以及建言中国“大数据战略”的重要文章和访谈，淘洗成这本“2.0升级版”—— 　　《大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活》。 资源目录： 序言一 大数据：为华文世界提出一个重要话题/许倬云 序言二 中国的雄心应该拓展到大数据领域/托马斯?H?达文波特 序 幕 新总统的第一天 一人一票：把“黑”人送进“白”宫 大国新政：阳光是最好的防腐剂 上 篇 帝国风云：得数据者得天下——美国的成功经验 第一章 历史争战《信息自由法》 第四股力量：知情权的起点 国会议员：孤独的战争 白宫当家人：一个妥协者和机动者 政府VS. 社会：旧剧情重现新时代 第二章 数据帝国的兴起 摩尔定律：全世界半个世纪的发展规律 最小数据集：上升到立法高度的开路先锋 民意几时有：选票催生的创新 普适计算：计算机本身将从人们的视线中消失 “大数据”战略：争夺全世界的下一个前沿 第三章 数据治国 循“数”管理：平安大道怎样铺 数据“验”平权：民权史上的碑石 数据“打”假：最大的争议就是福利滥用 CompStat...

Spark快速数据处理 内容简介： Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。 　　本书系统讲解Spark的使用方法，包括如何在多种机器上安装Spark，如何配置一个Spark集群，如何在交互模式下运行第一个Spark作业，如何在Spark集群上构建一个生产级的脱机/独立作业，如何与Spark集群建立连接和使用SparkContext，如何创建和保存RDD（弹性分布式数据集），如何用Spark分布式处理数据，如何设置Shark，将Hive查询集成到你的Spark作业中来，如何测试Spark作业，以及如何提升Spark任务的性能。 资源目录： 译者序 作者简介 前言 第1章　安装Spark以及构建Spark集群 　1.1　单机运行Spark 　1.2　在EC2上运行Spark 　1.3　在ElasticMapReduce上部署Spark 　1.4　用Chef(opscode)部署Spark 　1.5　在Mesos上部署Spark 　1.6　在Yarn上部署Spark 　1.7　通过SSH部署集群 　1.8　链接和参考 　1.9　小结 第2章　Sparkshell的使用 　2.1　加载一个简单的text文件 　2.2　用Sparkshell运行逻辑回归 　2.3　交互式地从S3加载数据 　2.4　小结 第3章　构建并运行Spark应用 　3.1　用sbt构建Spark作业 　3.2　用Maven构建Spark作业 　3.3　用其他工具构建Spark作业 　3.4　小结 第4章　创建SparkContext 　4.1　Scala 　4.2　Java 　4.3　Java和Scala共享的API 　4.4　Python 　4.5　链接和参考 　4.6　小结 第5章　加载与保存数据 　5.1　RDD 　5.2　加载数据到RDD中 　5.3　保存数据 　5.4　连接和参考 　5.5　小结 第6章　操作RDD 　6.1　用Scala和Java操作RDD 　6.2　用Python操作RDD 　6.3　链接和参考 　6.4　小结...

HBase实战 内容简介： HBase是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。HBase运行在普通商用服务器上，可以平滑扩展，以支持从中等规模到数十亿行、数百万列的数据集。　　《HBase实战》是一本基于经验提炼而成的指南，它教给读者如何运用HBase设计、搭建及运行大数据应用系统。全书共分为4个部分。前两个部分分别介绍了分布式系统和大规模数据处理的发展历史，讲解HBase的基本原理模式设计以及如何使用HBase的高级特性；第三部分通过真实的应用和代码示例以及支持这些实践技巧的理论知识，进一步探索HBase的一些实用技术；第四部分讲解如何把原型开发系统升级为羽翼丰满的生产系统。　　《HBase实战》适合所有对云计算、大数据处理技术和NoSQL数据库感兴趣的技术人员阅读，尤其适合对Hadoop及HBase感兴趣的技术人员参考。阅读《HBase实战》不要求之前具备HBase、Hadoop或者MapReduce方面的知识。 资源目录： 第一部分　HBase基础 第1章　HBase介绍　3 1.1　数据管理系统：速成　4 1.1.1　你好，大数据　5 1.1.2　数据创新　6 1.1.3　HBase的崛起　7 1.2　HBase使用场景和成功案例　8 1.2.1　典型互联网搜索问题：BigTable发明的原因　8 1.2.2　抓取增量数据　9 1.2.3　内容服务　12 1.2.4　信息交换　13 1.3　你好HBase　14 1.3.1　快速安装　14 1.3.2　HBase Shell命令行交互　16 1.3.3　存储数据　17 1.4　小结　18 第2章　入门　20 2.1　从头开始　21 2.1.1　创建表　21 2.1.2　检查表模式　22 2.1.3　建立连接　22 2.1.4　连接管理　23 2.2　数据操作　23 2.2.1　存储数据　24 2.2.2　修改数据　25 2.2.3　工作机制：HBase写路径　25 2.2.4　读数据　26 2.2.5　工作机制：HBase读路径　27 2.2.6　删除数据　28 2.2.7　合并：HBase的后台工作　28 2.2.8　有时间版本的数据　29 2.2.9　数据模型概括　30 2.3　数据坐标　31 2.4　小结　33 2.5　数据模型　37 2.5.1　逻辑模型：有序映射的映射集合　37 2.5.2　物理模型：面向列族　39 2.6　表扫描　40 2.6.1　设计用于扫描的表　41 2.6.2　执行扫描　42 2.6.3　扫描器缓存　43...

ZooKeeper分布式过程协同技术详解 内容简介： 本书分三部分，共10章。第一部分（第1～2章）阐述ApacheZooKeeper这类系统的设计目的和动机，并介绍分布式系统的一些必要背景知识。第1章介绍ZooKeeper可以做什么，以及其设计如何支撑这些任务。第2章介绍基本概念和基本组成模块，并通过命令行工具的具体操作介绍了ZooKeeper可以做什么。第二部分（第3～8章）阐述开发人员所需要掌握的ZooKeeper库调用方法和编程技巧。第3章介绍Java语言的API.第4章解释如何跟踪和处理ZooKeeper中的状态变更情况。第5章介绍如何在系统或网络故障时恢复应用。第6章介绍需要注意来避免故障的一些繁杂却很重要的场景。第7章介绍C语言版的API接口，也可以作为非Java语言实现的ZooKeeperAPI的基础，对非Java语言的开发人员非常有帮助。第8章介绍一款更高层级的封装的ZooKeeper接口。第三部分（第9～10章）主要介绍ZooKeeper内部原理及如何运行ZooKeeper.第9章介绍ZooKeeper的作者们在设计时所采用的方案。第10章介绍如何对ZooKeeper进行配置。 资源目录： 前言1 第一部分ZooKeeper的概念和基础 第1章简介7 1.1ZooKeeper的使命8 1.1.1ZooKeeper改变了什么10 1.1.2ZooKeeper不适用的场景10 1.1.3关于Apache项目11 1.1.4通过ZooKeeper构建分布式系统11 1.2示例：主—从应用12 1.2.1主节点失效13 1.2.2从节点失效14 1.2.3通信故障14 1.2.4任务总结15 1.3分布式协作的难点16 1.4ZooKeeper的成功和注意事项18 第2章了解ZooKeeper19 2.1ZooKeeper基础19 2.1.1API概述20 2.1.2znode的不同类型21 2.1.3监视与通知22 2.1.4版本24 2.2ZooKeeper架构25 2.2.1ZooKeeper仲裁26 2.2.2会话27 2.3开始使用ZooKeeper28 2.3.1第一个ZooKeeper会话28 2.3.2会话的状态和声明周期31 2.3.3ZooKeeper与仲裁模式33 2.3.4实现一个原语：通过ZooKeeper实现锁36 2.4一个主—从模式例子的实现37 2.4.1主节点角色37 2.4.2从节点、任务和分配40 2.4.3从节点角色40 2.4.4客户端角色41 2.5小结43 第二部分使用ZooKeeper进行开发 第3章开始使用ZooKeeper的API47 3.1设置ZooKeeper的CLASSPATH47 3.2建立ZooKeeper会话47 3.2.1实现一个Watcher49 3.2.2运行Watcher的示例51 3.3获取管理权53...

Hive编程指南 内容简介： 《Hive编程指南》是一本Apache Hive的编程指南，旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。全书通过大量的实例，首先介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce进行详尽阐述，最终演示Hive如何在Hadoop生态系统进行工作。 　　《Hive编程指南》适合对大数据感兴趣的爱好者以及正在使用Hadoop系统的数据库管理员阅读使用。 资源目录： 第1章　基础知识　 1.1　Hadoop和MapReduce综述　 1.2　Hadoop生态系统中的Hive　 1.2.1　Pig　 1.2.2　HBase　 1.2.3　Cascading、Crunch及其他　 1.3　Java和Hive：词频统计算法　 1.4　后续事情　 第2章　基础操作　 2.1　安装预先配置好的虚拟机　 2.2　安装详细步骤　 2.2.1　装Java　 2.2.2　安装Hadoop　 2.2.3　本地模式、伪分布式模式和分布式模式　 2.2.4　测试Hadoop　 2.2.5　安装Hive　 2.3　Hive内部是什么　 2.4　启动Hive　 2.5　配置Hadoop环境　 2.5.1　本地模式配置　 2.5.2　分布式模式和伪分布式模式配置　 2.5.3　使用JDBC连接元数据　 2.6　Hive命令　 2.7　命令行界面　 2.7.1　CLI 选项　 2.7.2　变量和属性　 2.7.3　Hive中“一次使用”命令　 2.7.4　从文件中执行Hive查询　 2.7.5　hiverc文件　 2.7.6　使用Hive CLI的更多介绍　 2.7.7　查看操作命令历史　 2.7.8　执行shell命令　 2.7.9　在Hive内使用Hadoop的dfs命令　 2.7.10　Hive脚本中如何进行注释　 2.7.11　显示字段名称　 第3章　数据类型和文件格式　 3.1　基本数据类型　 3.2　集合数据类型　...