HDFS共24篇
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，旨在运行在分布式环境中，特别适合存储和处理大规模数据集。HDFS是一个高度容错和高度可用的分布式文件系统，设计用于在廉价的硬件上运行，并提供高吞吐量的数据访问能力。
排序
HDFS基本原理和设计理念，HDFS 的局限性有哪些
本节将对 HDFS 的基本原理进行讲解。 文件系统的问题 文件系统是操作系统提供的磁盘空间管理服务，该服务只需要用户指定文件的存储位置及文件读取路径，而不需要用户了解文件在磁盘上是如何存放...
3年前Hadoop HDFS分布式文件系统简介及特性
在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，因此需要将数据集进行分区并存储到若干台独立的计算机中。但是，分区存储的数据不方便管理和维护，迫切需要一种...
4年前分布式SQL大数据查询引擎的发展，什么是分布式查询引擎
介绍 从高层的角度来看，许多数据和分析解决方案已经以相同的方式构建了许多年。 简而言之，它由各种集成过程组成，可将所有数据加载到一个中央位置，这是即将到来的数据建模和分析用例的唯一事...
4年前通过系统日志采集大数据的实现方法
许多公司的平台每天都会产生大量的日志，并且一般为流式数据，如搜索引擎的 pv 和查询等。处理这些日志需要特定的日志系统，这些系统需要具有以下特征。 构建应用系统和分析系统的桥梁，并将它...
4年前Hadoop大数据处理框架简介，什么是Hadoop 生态圈？
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来，Hadoop 被贡献给了 Apache 基金会，...
4年前大数据预处理架构和方法简介
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）。本节在介绍大数据预处理基本概念的基础上对数据...
4年前HDFS读取和写入数据简介 HDFS的文件访问机制
HDFS的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此...
3年前大数据处理技术有哪些？大数据处理系统核心技术
大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。 分布式计算 对于如何处理大数据，计算机科学界有两大方向。 第一个方向是集中式计算，就是通过不...
4年前Hadoop MapReduce工作流程介绍
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Outpu...
2年前HDFS两种操作方式：命令行和Java API
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将...
2年前
