Spark大数据处理:技术、应用与性能优化
云计算教程

Spark大数据处理:技术、应用与性能优化

Spark大数据处理:技术、应用与性能优化 内容简介: 这是一本依据最新技术版本,系统、全面、详细讲解Spark的著作,作者结合自己在微软和IBM的实践经验和对Spark源代码的研究撰写而成。首先从技术层面讲解了Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算模型、Benchmark、BDAS等内容;然后从应用角度讲解了一些简单的、有代表性的案例;最后对Spark的性能优化进行了探讨。 资源目录: 前 言 第1章 Spark简介 1 1.1 Spark是什么 1 1.2 Spark生态系统BDAS 4 1.3 Spark架构 6 1.4 Spark分布式架构与单机多核 架构的异同 9 1.5 Spark的企业级应用 10 1.5.1 Spark在Amazon中的应用 11 1.5.2 Spark在Yahoo!的应用 15 1.5.3 Spark在西班牙电信的应用 17 1.5.4 Spark在淘宝的应用 18 1.6 本章小结 20 第2章 Spark集群的安装与部署 21 2.1 Spark的安装与部署 21 2.1.1 在Linux集群上安装与配置Spark 21 2.1.2 在Windows上安装与配置Spark 30 2.2 Spark集群初试 33 2.3 本章小结 35 第3章 Spark计算模型 36 3.1 Spark程序模型 36 3.2 弹性分布式数据集 37...
企业大数据系统构建实战:技术、架构、实施与应用
云计算教程

企业大数据系统构建实战:技术、架构、实施与应用

企业大数据系统构建实战:技术、架构、实施与应用 内容简介: 本书分13章,分别从企业大数据战略定位、企业大数据落地实施和价值评估,以及大数据的变革与挑战这三大方面进行撰写,宏观上涵盖了企业战略决策和定位,微观上涵盖了大数据职能、思路、方法、流程、开发、应用、评估的整个环节。企业大数据的知识完整性也是本书的特色之一。 资源目录: 前言 第1章企业大数据战略定位 1 1.1宏观 1 1.2微观 4 1.2.1资源协同 5 1.2.2战略定位 6 1.2.3启动契机 7 1.2.4大数据历程 9 1.3本章小结 12 第2章企业大数据职能规划 13 2.1大数据组织架构体系 13 2.1.1大数据部门在企业中的角色 13 2.1.2常见的大数据职能及职责 17 2.2大数据职位构建体系 24 2.2.1基础平台类 24 2.2.2数据管理类 26 2.2.3技术研发类 27 2.2.4产品设计类 30 2.2.5数据挖掘类 32 2.2.6数据分析类 33 2.3大数据制度和流程规范 35 2.3.1制度和流程规范意义...
云起龙骧系列视频课程之微软云计算平台
云计算教程

云起龙骧系列视频课程之微软云计算平台

教程名称:云起龙骧系列视频课程之微软云计算平台 课程目录: (1):Windows Azure—-微软云计算平台 (2):微软云计算平台——Windows Azure开发 (3):微软云计算平台—-Live Services概览 (4):微软云计算平台—-Live Services开发实战 (5):SQL Services展望
云计算专家刘鹏—云计算演讲PPT大全
云计算教程

云计算专家刘鹏—云计算演讲PPT大全

教程名称:        云计算专家刘鹏—云计算演讲PPT大全 云计算在中国的应用前景-刘鹏 云计算时代的旅游信息化-刘鹏 刘鹏:判断是不是云计算的三条标准 实战Hadop:开启通向云计算的捷径(刘鹏) 解放军理工大学-刘鹏-3G时代的云计算 超低功耗高可靠云存储技术_刘鹏_解放军理工大学
炼数-数据分析与SPSS(完整)共12周
云计算教程

炼数-数据分析与SPSS(完整)共12周

炼数-数据分析与SPSS(完整)共12周 教程内容: 第一周  SPSS概览, SPSS安装与进入,数据文件的管理, 建立与保存数据文件-File,能够编辑数据文件,从原有变量计算新变量 第 二周  Descriptive Statistics菜单, Frequencies,Explore,Crosstabs过程,Compare Means菜单, Means过程,One-Samples T Test过程,Independent-Samples TTest过程 第三周  Compare Means菜单, General Linear Model菜单,两因素方差分析,univarate协方差分析,其他较简单的方差分析问题  第四周  General Linear Model菜单,多元方差分析,重复测量的方差分析 , Correlate菜单 第五周  Regression菜单,Linear过程      ,Binary Logistic过程,NonparametricTests菜单  第六周  SPSS结果窗口用法,结果浏览窗口,掌握WORD等软件中使用输出结果,进行图片编辑, SPSS统计绘图功能, 常用统计图 ,因素分析 第七周  SPSS Clementine软件功能演练,熟悉SPSS Clementine软件功能,了解SPSS Clementine 软件的各选项面板和操作方法。  ...
Hadoop 2.X HDFS源码剖析
云计算教程

Hadoop 2.X HDFS源码剖析

Hadoop 2.X HDFS源码剖析 内容简介: 《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中第1章从总体上介绍了HDFS的组件、概念以及典型的流程,同时详细介绍了HDFS各个组件间RPC接口的定义。第2章介绍了Hadoop RPC框架的实现,Hadoop RPC是HDFS各个组件间通信所依赖的底层框架,可以理解为HDFS的神经系统。第3~5章分别介绍了Namenode、Datanode以及HDFS客户端这三个组件的实现细节,同时穿插介绍了HDFS 2.X的新特性,例如Namenode HA、Federation Namenode等。 阅读《Hadoop 2.X HDFS源码剖析》可以帮助读者从架构设计与源码实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧以及编程规范等。这些对于读者全面提高自己的技术水平有很大的帮助。 资源目录: 第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程...
Hadoop开发者入门专刊
云计算教程

Hadoop开发者入门专刊

Hadoop开发者入门专刊 内容简介:       《Hadoop开发者入门专刊》教程主要内容:Hadoop源代码eclipse编译教程、在Windows上安装Hadoop教程、在Windows上使用Cygwin安装HBase、Hive应用介绍、Hive执行计划解析等内容。对Hadoop开发入门有较好的指导作用。          Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。 截图:
Shell编程从入门到实战(二)【2019千锋Linux】
云计算教程

Shell编程从入门到实战(二)【2019千锋Linux】

更多Linux云计算相关视频资料,可添加QQ2377443170免费领取 shell提供了你与操作系统之间通讯的方式。这种通讯可以以交互方式(从键盘输入,并且可以立即得到响应),或者以shell script(非交互)方式执行。shell script是放在文件中的一串shell和操作系统命令,它们可以被重复使用。本质上,shell script是命令行命令简单的组合到一个文件里面。 学完了能做什么? 学习完shell  能掌握shell编程的变量运用;if,case等语句判断;并可以有一定能力独立编写简单的运维工具。还能有根据系统或者服务的情况做一些自动的优化脚本。配合计划任务,报警邮件,还可以实现简单的监控。
Matlab在求解优化问题中的应用 中文
云计算教程

Matlab在求解优化问题中的应用 中文

Matlab在求解优化问题中的应用 中文 最优化是一门研究如何科学、合理、迅速地确定可行方案并找到其中最优方案的学科。 最优化方法就是专门研究如何从多个方案中科学合理地提出最佳方案的科学。 用最优化方法解决最优化问题的技术称为最优化技术,它包含两个方面的内容: 1 建立数学模型。即用数学语言来描述最优化问题。模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。 2 数学求解。数学模型建好以后,选择合理的最优化方法进行求解。 截图: