大数据共74篇 第2页
大数据（Big Data）指的是无法通过传统数据处理工具在合理时间内进行捕捉、管理和处理的数据集合。这些数据集通常具有海量、高增长率和多样化的特点，包括结构化和非结构化数据。
排序
使用Redis和Lua的原子性实现抢红包功能
数据库最终会将数据保存到磁盘中，而 Redis 使用的是内存，内存的速度比磁盘速度快得多，所以这里将讨论使用 Redis 实现抢红包。 对于使用 Redis 实现抢红包，首先需要知道的是 Redis 的功能不...
1年前大数据预处理之数据消减
我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间，这时就需要我们的数据消减技术了。 数据消减技术的主要目的就是从原有巨大数据集中获得一个精简的数据集，并使这一精简数据...
4年前大数据处理技术有哪些？大数据处理系统核心技术
大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。 分布式计算 对于如何处理大数据，计算机科学界有两大方向。 第一个方向是集中式计算，就是通过不...
4年前HDFS基本原理和设计理念，HDFS 的局限性有哪些
本节将对 HDFS 的基本原理进行讲解。 文件系统的问题 文件系统是操作系统提供的磁盘空间管理服务，该服务只需要用户指定文件的存储位置及文件读取路径，而不需要用户了解文件在磁盘上是如何存放...
3年前NoSQL非关系型数据库简介及与关系数据库的区别
虽然关系型数据库系统很优秀，但是在大数据时代，面对快速增长的数据规模和日渐复杂的数据模型，关系型数据库系统已无法应对很多数据库处理任务。 NoSQL 凭借易扩展、大数据量和高性能及灵活的...
2年前Hadoop MapReduce简介
本节首先简单介绍大数据批处理概念，然后介绍典型的批处理模式 MapReduce，最后对 Map 函数和 Reduce 函数进行描述。 批处理模式 批处理模式是一种最早进行大规模数据处理的模式。批处理主要操...
1年前Spark是什么？Spark和Hadoop的区别
Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。 Spark...
1年前Spark RDD是什么？
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节...
1年前Spark生态圈简介
Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。 AMP 实验室运用大数据、...
1年前Python能干什么，Python的应用领域有哪些
Python 作为一种功能强大的编程语言，因其简单易学而受到很多开发者的青睐。那么，Python 的应用领域有哪些呢？ Python 的应用领域非常广泛，几乎所有大中型互联网企业都在使用 Python 完成各种...
4年前
