函数共973篇 第70页
函数是预先定义的功能块(由代码组成)。我们编写函数的目的通常是为了反复调用它(提高代码的复用性)。

MapReduce执行流程和Shuffle过程

MapReduce执行流程和Shuffle过程-华尔子博-奥夏网
本节将对 Hadoop MapReduce 的工作机制进行介绍,主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解,可以使程序开发者更合理地使用 MapReduc...
南宫世家的头像-华尔子博-奥夏网南宫世家2年前
0595

MapReduce实例分析:单词计数

MapReduce实例分析:单词计数-华尔子博-奥夏网
单词计数是最简单也是最能体现 MapReduce 思想的程序之一,可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述...
南宫世家的头像-华尔子博-奥夏网南宫世家2年前
06211

Hadoop MapReduce工作流程介绍

Hadoop MapReduce工作流程介绍-华尔子博-奥夏网
MapReduce 就是将输入进行分片,交给不同的 Map 任务进行处理,然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Outpu...
天山雪莲的头像-华尔子博-奥夏网天山雪莲3年前
08611

Hadoop MapReduce架构

Hadoop MapReduce架构-华尔子博-奥夏网
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架,目前已经实现了两个版本,MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题,但是整...
天山雪莲的头像-华尔子博-奥夏网天山雪莲2年前
05514

Hadoop MapReduce简介

Hadoop MapReduce简介-华尔子博-奥夏网
本节首先简单介绍大数据批处理概念,然后介绍典型的批处理模式 MapReduce,最后对 Map 函数和 Reduce 函数进行描述。 批处理模式 批处理模式是一种最早进行大规模数据处理的模式。批处理主要操...
王麻子的头像-华尔子博-奥夏网王麻子2年前
0475

NoSQL数据库类型简介

NoSQL数据库类型简介-华尔子博-奥夏网
近些年来,NoSQL 数据库的发展势头很快。据统计,目前已经产生了 50 到 150 个 NoSQL 数据库系统。但是,归结起来,可以将典型的 NoSQL 划分为 4 种类型,分别是键值数据库、列式数据库、文档数...
子博兄的头像-华尔子博-奥夏网子博兄3年前
0499

HDFS读取和写入数据简介 HDFS的文件访问机制

HDFS读取和写入数据简介 HDFS的文件访问机制-华尔子博-奥夏网
HDFS的文件访问机制为流式访问机制,即通过 API 打开文件的某个数据块之后,可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色,且对应的应用场景主要为一次写入、多次读取的场景,因此...
子博兄的头像-华尔子博-奥夏网子博兄4年前
015911

大数据预处理,大数据数据清洗

大数据预处理,大数据数据清洗-华尔子博-奥夏网
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。 遗漏数据处理 假设在分析一个商场销...
子博网的头像-华尔子博-奥夏网子博网5年前
01930

大数据预处理架构和方法简介

大数据预处理架构和方法简介-华尔子博-奥夏网
数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转换(Data Transformation)和数据消减(Data Reduction)。本节在介绍大数据预处理基本概念的基础上对数据...
子博网的头像-华尔子博-奥夏网子博网5年前
01850

Scrapy是什么,Scrapy网络爬虫简介

Scrapy是什么,Scrapy网络爬虫简介-华尔子博-奥夏网
Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。 1. Scrapy 架构 Scrapy 的整体架构由 Scrapy 引擎(Scra...
子博兄的头像-华尔子博-奥夏网子博兄5年前
02170