大数据共24篇
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
排序
HDFS两种操作方式：命令行和Java API
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将...
17天前HDFS读取和写入数据简介 HDFS的文件访问机制
HDFS的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此...
5个月前HDFS架构和实现机制简介 HDFS 是什么？
HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包...
8个月前HDFS基本原理和设计理念，HDFS 的局限性有哪些
HDFS基本原理和设计理念，HDFS 的局限性有哪些。为了解决存储结点负载不均衡的问题，HDFS 首先把一个文件分割成多个块，然后再把这些文件块存储在不同服务器上。这种方式的优势就是不怕文件太大...
10个月前大数据处理技术有哪些？大数据处理系统核心技术
大数据处理技术有哪些？大数据处理系统核心技术大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
2年前离散化和数值概念层次树简介
离散化和数值概念层次树简介。离散化技术方法可以通过将属性（连续取值）域值范围分为若干区间，来帮助消减一个连续（取值）属性的取值个数。
2年前大数据预处理之数据消减
大数据预处理之数据消减。我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间，这时就需要我们的数据消减技术了。
2年前大数据预处理之数据转换的注意事项
大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。
2年前大数据预处理之数据集成需要注意的问题
大数据预处理之数据集成需要注意的问题。数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合
2年前大数据预处理，大数据数据清洗
大数据预处理，大数据数据清洗。现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。
2年前
