Spark开发实例（编程实践）
本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力...
MapReduce执行流程和Shuffle过程
本节将对 Hadoop MapReduce 的工作机制进行介绍，主要从 MapReduce 的作业执行流程和 Shuffle 过程方面进行阐述。通过加深对 MapReduce 工作机制的了解，可以使程序开发者更合理地使用 MapReduc...
MapReduce实例分析：单词计数
单词计数是最简单也是最能体现 MapReduce 思想的程序之一，可以称为 MapReduce 版“Hello World”。单词计数的主要功能是统计一系列文本文件中每个单词出现的次数。本节通过单词计数实例来阐述...
大数据预处理之数据消减
我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间，这时就需要我们的数据消减技术了。 数据消减技术的主要目的就是从原有巨大数据集中获得一个精简的数据集，并使这一精简数据...
大数据预处理之数据转换的注意事项
数据转换就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。 1）平滑处理 帮助除去数据中的噪声，主要技术方法有 Bin 方法、聚类方法和回归方法。 2）...
大数据采集方法，大数据采集技术概述
大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。 数据包括 RFID 数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据...
使用Redis和Lua的原子性实现抢红包功能
数据库最终会将数据保存到磁盘中，而 Redis 使用的是内存，内存的速度比磁盘速度快得多，所以这里将讨论使用 Redis 实现抢红包。 对于使用 Redis 实现抢红包，首先需要知道的是 Redis 的功能不...
使用流水线（pipelined）提高Redis的命令性能
教程前几节讨论了 Redis 的事务的各类问题，在事务中 Redis 提供了队列，这是一个可以批量执行任务的队列，这样性能就比较高，但是使用 multi...exec 事务命令是有系统开销的，因为它会检测对应...
Redis集合数据结构和常用命令
Redis 的集合不是一个线性结构，而是一个哈希表结构，它的内部会根据 hash 分子来存储和查找数据，理论上一个集合可以存储 2 的 32 次方减 1 个节点（大约 42 亿）个元素，因为采用哈希表结构，...
如何在Spring中使用Redis，代码实例
在Java程序中使用Redis在没有封装情况下使用 Java API 需要自己编写规则把 Java 对象和 Redis 的字符串进行相互转换，而在 Spring 中这些问题都可以轻松处理。 在 Spring 中使用 Redis，除了需...
