大数据共29篇
大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

HDFS基本原理和设计理念,HDFS 的局限性有哪些

HDFS基本原理和设计理念,HDFS 的局限性有哪些-华尔子博
HDFS基本原理和设计理念,HDFS 的局限性有哪些。为了解决存储结点负载不均衡的问题,HDFS 首先把一个文件分割成多个块,然后再把这些文件块存储在不同服务器上。这种方式的优势就是不怕文件太大...
王麻子的头像-华尔子博王麻子2年前
05110

大数据预处理之数据集成需要注意的问题

大数据预处理之数据集成需要注意的问题。数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合
王麻子的头像-华尔子博王麻子3年前
03590

大数据采集方法,大数据采集技术概述

大数据采集方法,大数据采集技术概述-华尔子博
大数据采集方法,大数据采集技术概述。大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。
南宫世家的头像-华尔子博南宫世家3年前
02750

大数据开发涉及到的关键技术及开发流程有哪些?

大数据开发涉及到的关键技术及开发流程有哪些?-华尔子博
大数据开发涉及到的关键技术及开发流程有哪些?大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预...
子博兄的头像-华尔子博子博兄3年前
02650

Hadoop HDFS分布式文件系统简介及特性

Hadoop HDFS分布式文件系统简介及特性-华尔子博
Hadoop HDFS分布式文件系统简介及特性。大数据时代,需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力,因此需要将数据集进行分区并存储到若干台独立的计算机中。
天山雪莲的头像-华尔子博天山雪莲3年前
02510

Google的三种大数据处理系统GFS、MapReduce和BigTable解析

Google的三种大数据处理系统GFS、MapReduce和BigTable解析-华尔子博
Google的三种大数据处理系统GFS、MapReduce和BigTable解析。Google 在搜索引擎上所获得的巨大成功,很大程度上是由于采用了先进的大数据管理和处理技术。
子博兄的头像-华尔子博3年前
12490

什么是大数据?一分钟带你了解大数据及特性

什么是大数据?一分钟带你了解大数据及特性-华尔子博
什么是大数据?一分钟带你了解大数据及特性
子博兄的头像-华尔子博3年前
12420

大数据时代的10个重大变化,大数据带来的影响

大数据时代的10个重大变化,大数据带来的影响-华尔子博
大数据时代的到来改变了人们的生活方式、思维模式和研究范式,大数据时代的10个重大变化,大数据带来的影响。
子博兄的头像-华尔子博子博兄3年前
02390

通过系统日志采集大数据的实现方法

通过系统日志采集大数据的实现方法-华尔子博
通过系统日志采集大数据的实现方法。目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等
天山雪莲的头像-华尔子博天山雪莲3年前
02220

什么是大数据时代?大数据能给我们带来什么?

什么是大数据时代?大数据能给我们带来什么?-华尔子博
年来,信息技术迅猛发展,尤其是以互联网、物联网、信息获取、社交网络等为代表的技术日新月异,促使手机、平板电脑、pc 等各式各样的信息传感器随处可见,虚拟网络快速发展,现实世界快速虚拟...
子博兄的头像-华尔子博子博兄3年前
02190