大数据共21篇
大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
HDFS基本原理和设计理念,HDFS 的局限性有哪些-华尔子博

HDFS基本原理和设计理念,HDFS 的局限性有哪些

HDFS基本原理和设计理念,HDFS 的局限性有哪些。为了解决存储结点负载不均衡的问题,HDFS 首先把一个文件分割成多个块,然后再把这些文件块存储在不同服务器上。这种方式的优势就是不怕文件太大...

大数据处理技术有哪些?大数据处理系统核心技术

大数据处理技术有哪些?大数据处理系统核心技术大数据技术的基本概念进行简单介绍,包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
离散化和数值概念层次树简介-华尔子博

离散化和数值概念层次树简介

离散化和数值概念层次树简介。离散化技术方法可以通过将属性(连续取值)域值范围分为若干区间,来帮助消减一个连续(取值)属性的取值个数。
大数据预处理之数据消减-华尔子博

大数据预处理之数据消减

大数据预处理之数据消减。我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。
南宫世家的头像-华尔子博南宫世家9个月前
01550

大数据预处理之数据转换的注意事项

大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。
南宫世家的头像-华尔子博南宫世家11个月前
01510

大数据预处理之数据集成需要注意的问题

大数据预处理之数据集成需要注意的问题。数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合
大数据预处理,大数据数据清洗-华尔子博

大数据预处理,大数据数据清洗

大数据预处理,大数据数据清洗。现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。
大数据预处理架构和方法简介-华尔子博

大数据预处理架构和方法简介

大数据预处理架构和方法简介。数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转换(Data Transformation)和数据消减(Data Reduction)
子博网的头像-华尔子博子博网1年前
01850
Scrapy是什么,Scrapy网络爬虫简介-华尔子博

Scrapy是什么,Scrapy网络爬虫简介

Scrapy是什么,Scrapy网络爬虫简介。Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。
子博兄的头像-华尔子博子博兄1年前
01900
通过网络爬虫采集大数据的方法-华尔子博

通过网络爬虫采集大数据的方法

通过网络爬虫采集大数据的方法。网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来
子博网的头像-华尔子博子博网1年前
01720