本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster ...

Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题，但是整...

Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。 Spark...

单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述...

互联网企业拥有大量的线上数据，而且数据量还在快速增长，除了利用大数据提升自己的业务之外，互联网企业已经开始实现数据业务化，利用大数据发现新的商业价值。 以阿里巴巴为例，它不仅在不断...

HBase 为用户提供了一个非常方便的命令行使用方式——HBase Shell。 HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据，列...

近些年来，NoSQL 数据库的发展势头很快。据统计，目前已经产生了 50 到 150 个 NoSQL 数据库系统。但是，归结起来，可以将典型的 NoSQL 划分为 4 种类型，分别是键值数据库、列式数据库、文档数...

基于 Apriori 算法的关联分析方法。为了克服 Apriori 算法在复杂度和效率方面的缺陷，进一步的介绍了基于 FP-Tree 的频繁模式挖掘方法。 Apriori关联分析算法 Apriori 算法是挖掘产生关联规则所...

金融行业是典型的数据驱动行业，每天都会产生大量的数据，包括交易、报价、业绩报告、消费者研究报告、各类统计数据、各种指数等。所以，金融行业拥有丰富的数据，数据维度比较广泛，数据质量也...

HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包...