大数据共29篇 第2页
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
排序
通过网络爬虫采集大数据的方法
通过网络爬虫采集大数据的方法。网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来
3年前Scrapy是什么，Scrapy网络爬虫简介
Scrapy是什么，Scrapy网络爬虫简介。Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架，可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。
3年前大数据预处理架构和方法简介
大数据预处理架构和方法简介。数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）
3年前大数据预处理，大数据数据清洗
大数据预处理，大数据数据清洗。现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。
3年前大数据预处理之数据集成需要注意的问题
大数据预处理之数据集成需要注意的问题。数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合
3年前大数据预处理之数据转换的注意事项
大数据预处理之数据转换的注意事项。数据转换就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。
3年前Hadoop MapReduce工作流程介绍
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Outpu...
12个月前离散化和数值概念层次树简介
离散化和数值概念层次树简介。离散化技术方法可以通过将属性（连续取值）域值范围分为若干区间，来帮助消减一个连续（取值）属性的取值个数。
3年前大数据处理技术有哪些？大数据处理系统核心技术
大数据处理技术有哪些？大数据处理系统核心技术大数据技术的基本概念进行简单介绍，包括分布式计算、服务器集群和 Google 的 3 个大数据技术。
3年前Hadoop大数据处理框架简介，什么是Hadoop 生态圈？
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。
3年前
