大数据共74篇
大数据（Big Data）指的是无法通过传统数据处理工具在合理时间内进行捕捉、管理和处理的数据集合。这些数据集通常具有海量、高增长率和多样化的特点，包括结构化和非结构化数据。
排序
什么是大数据？一分钟带你了解大数据及特性
大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。 目前，业界对大数据还没有一个统一的定义，但是大家普遍...
4年前大数据预处理之数据转换的注意事项
数据转换就是将数据进行转换或归并，从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。 1）平滑处理 帮助除去数据中的噪声，主要技术方法有 Bin 方法、聚类方法和回归方法。 2）...
4年前什么是大数据时代？大数据能给我们带来什么？
近年来，信息技术迅猛发展，尤其是以互联网、物联网、信息获取、社交网络等为代表的技术日新月异，促使手机、平板电脑、pc 等各式各样的信息传感器随处可见，虚拟网络快速发展，现实世界快速虚...
4年前大数据处理的基本流程：数据抽取与集成+数据分析+数据解释
大数据的数据来源广泛，应用需求和数据类型都不尽相同，但是最基本的处理流程是一致的。 整个大数据的处理流程可以定义为，在合适工具的辅助下，对广泛异构的数据源进行抽取和集成，将结果按照...
4年前大数据开发涉及到的关键技术及开发流程有哪些？
大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。 大数据价值的完整体现...
4年前大数据采集方法，大数据采集技术概述
大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。 数据包括 RFID 数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据...
4年前通过系统日志采集大数据的实现方法
许多公司的平台每天都会产生大量的日志，并且一般为流式数据，如搜索引擎的 pv 和查询等。处理这些日志需要特定的日志系统，这些系统需要具有以下特征。 构建应用系统和分析系统的桥梁，并将它...
4年前通过网络爬虫采集大数据的方法
网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音...
4年前大数据预处理架构和方法简介
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）。本节在介绍大数据预处理基本概念的基础上对数据...
4年前大数据预处理，大数据数据清洗
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。 遗漏数据处理 假设在分析一个商场销...
4年前
