大数据共66篇 第5页
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
排序
Spark Streaming编程模型，DStream 的操作流程和使用方法
本节将介绍 Spark Streaming 的编程模型，包括 DStream 的操作流程和使用方法。 DStream 的操作流程 DStream 作为 Spark Streaming 的基础抽象，它代表持续性的数据流。这些数据流既可以通过外...
2年前基于大数据的精准营销
在大数据时代到来之前，企业营销只能利用传统的营销数据，包括客户关系管理系统中的客户信息、广告效果、展览等一些线下活动的效果。数据的来源仅限于消费者某一方面的有限信息，不能提供充分的...
4个月前k-means聚类算法简介
k-means 算法是一种基于划分的聚类算法，它以 k 为参数，把 n 个数据对象分成 k 个簇，使簇内具有较高的相似度，而簇间的相似度较低。 1. 基本思想 k-means 算法是根据给定的 n 个数据对象的数...
4个月前Spark Streaming简介
Spark Streaming 是 Spark 核心 API 的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 Spark Streaming 支持从多种数据源获取数据，包括 Kafka、Flume、Twitter、ZeroMQ、Kin...
2年前NoSQL数据库类型简介
近些年来，NoSQL 数据库的发展势头很快。据统计，目前已经产生了 50 到 150 个 NoSQL 数据库系统。但是，归结起来，可以将典型的 NoSQL 划分为 4 种类型，分别是键值数据库、列式数据库、文档数...
3年前Hadoop MapReduce简介
本节首先简单介绍大数据批处理概念，然后介绍典型的批处理模式 MapReduce，最后对 Map 函数和 Reduce 函数进行描述。 批处理模式 批处理模式是一种最早进行大规模数据处理的模式。批处理主要操...
2年前Hadoop MapReduce架构
Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。 尽管 MapReduce 1.0 中存在一些问题，但是整...
2年前数据挖掘之关联规则分析简介
关联分析是指从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。在大数据时代，关联分析是最常见的数据挖掘任务之一。 概述 关联分析是一种简单、实用的分析...
4个月前Spark DStream相关操作
与 RDD 类似，DStream 也提供了自己的一系列操作方法，这些操作可以分成 3 类：普通的转换操作、窗口转换操作和输出操作。 普通的转换操作 普通的转换操作如表 1 所示 表 1 普通的转换操作 Suo ...
2年前NoSQL非关系型数据库简介及与关系数据库的区别
虽然关系型数据库系统很优秀，但是在大数据时代，面对快速增长的数据规模和日渐复杂的数据模型，关系型数据库系统已无法应对很多数据库处理任务。 NoSQL 凭借易扩展、大数据量和高性能及灵活的...
3年前
