应用程序共191篇 第15页
应用程序(Application)‌是指为完成某项或多项特定工作的计算机程序,它运行在用户模式下,可以与用户进行交互,通常具有可视的用户界面。应用程序通常被分为两部分:图形用户接口(GUI)和引擎(engine)‌。

Spark开发实例(编程实践)

Spark开发实例(编程实践)-华尔子博-奥夏网
本节将介绍如何实际动手进行 RDD 的转换与操作,以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径,也是分析数据集交互的有力...
南宫世家的头像-华尔子博-奥夏网南宫世家1年前
0315

Spark生态圈简介

Spark生态圈简介-华尔子博-奥夏网
Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的,是一个力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成来展现大数据应用的平台。 AMP 实验室运用大数据、...
王麻子的头像-华尔子博-奥夏网王麻子1年前
04110

Spark总体架构和运行流程

Spark总体架构和运行流程-华尔子博-奥夏网
本节将首先介绍 Spark 的运行架构和基本术语,然后介绍 Spark 运行的基本流程,最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示,包括集群资源管理器(Cluster ...
王麻子的头像-华尔子博-奥夏网王麻子1年前
04811

Spark RDD是什么?

Spark RDD是什么?-华尔子博-奥夏网
Spark 的核心是建立在统一的抽象弹性分布式数据集(Resiliennt Distributed Datasets,RDD)之上的,这使得 Spark 的各个组件可以无缝地进行集成,能够在同一个应用程序中完成大数据处理。本节...
子博兄的头像-华尔子博-奥夏网1年前
02910

MapReduce执行流程和Shuffle过程

MapReduce执行流程和Shuffle过程-华尔子博-奥夏网
本节将对 Hadoop MapReduce 的工作机制进行介绍,主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解,可以使程序开发者更合理地使用 MapReduc...
南宫世家的头像-华尔子博-奥夏网南宫世家1年前
0415

Hadoop MapReduce工作流程介绍

Hadoop MapReduce工作流程介绍-华尔子博-奥夏网
MapReduce 就是将输入进行分片,交给不同的 Map 任务进行处理,然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Outpu...
天山雪莲的头像-华尔子博-奥夏网天山雪莲2年前
07311

Hadoop MapReduce架构

Hadoop MapReduce架构-华尔子博-奥夏网
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架,目前已经实现了两个版本,MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题,但是整...
天山雪莲的头像-华尔子博-奥夏网天山雪莲1年前
03614

Hadoop MapReduce简介

Hadoop MapReduce简介-华尔子博-奥夏网
本节首先简单介绍大数据批处理概念,然后介绍典型的批处理模式 MapReduce,最后对 Map 函数和 Reduce 函数进行描述。 批处理模式 批处理模式是一种最早进行大规模数据处理的模式。批处理主要操...
王麻子的头像-华尔子博-奥夏网王麻子1年前
0475

NoSQL非关系型数据库简介及与关系数据库的区别

虽然关系型数据库系统很优秀,但是在大数据时代,面对快速增长的数据规模和日渐复杂的数据模型,关系型数据库系统已无法应对很多数据库处理任务。 NoSQL 凭借易扩展、大数据量和高性能及灵活的...
子博兄的头像-华尔子博-奥夏网子博兄2年前
03914

HDFS架构和实现机制简介 HDFS 是什么?

HDFS架构和实现机制简介 HDFS 是什么?-华尔子博-奥夏网
HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode,这是一个 Master Server,用来管理文件系统的命名空间,以及调节客户端对文件的访问。一个 HDFS 集群还包...
子博网的头像-华尔子博-奥夏网子博网3年前
05710