大数据共29篇 第2页
大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

离散化和数值概念层次树简介

离散化和数值概念层次树简介-华尔子博
离散化和数值概念层次树简介。离散化技术方法可以通过将属性(连续取值)域值范围分为若干区间,来帮助消减一个连续(取值)属性的取值个数。
天山雪莲的头像-华尔子博天山雪莲3年前
01300

大数据预处理之数据消减

大数据预处理之数据消减-华尔子博
大数据预处理之数据消减。我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。
南宫世家的头像-华尔子博南宫世家3年前
01550

大数据预处理之数据转换的注意事项

大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。
南宫世家的头像-华尔子博南宫世家3年前
01640

大数据预处理之数据集成需要注意的问题

大数据预处理之数据集成需要注意的问题。数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合
王麻子的头像-华尔子博王麻子3年前
03590

大数据预处理,大数据数据清洗

大数据预处理,大数据数据清洗-华尔子博
大数据预处理,大数据数据清洗。现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。
子博网的头像-华尔子博子博网3年前
01920

大数据预处理架构和方法简介

大数据预处理架构和方法简介-华尔子博
大数据预处理架构和方法简介。数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转换(Data Transformation)和数据消减(Data Reduction)
子博网的头像-华尔子博子博网3年前
01850

Scrapy是什么,Scrapy网络爬虫简介

Scrapy是什么,Scrapy网络爬虫简介-华尔子博
Scrapy是什么,Scrapy网络爬虫简介。Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。
子博兄的头像-华尔子博子博兄3年前
02130

通过网络爬虫采集大数据的方法

通过网络爬虫采集大数据的方法-华尔子博
通过网络爬虫采集大数据的方法。网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来
子博网的头像-华尔子博子博网3年前
01730

大数据采集方法,大数据采集技术概述

大数据采集方法,大数据采集技术概述-华尔子博
大数据采集方法,大数据采集技术概述。大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。
南宫世家的头像-华尔子博南宫世家3年前
02750

通过系统日志采集大数据的实现方法

通过系统日志采集大数据的实现方法-华尔子博
通过系统日志采集大数据的实现方法。目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等
天山雪莲的头像-华尔子博天山雪莲3年前
02220