Oracle数据库如何备份与恢复
当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障(包括机器故障、介质故障、误操作等)，数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。...
Spark MLlib简介
MLlib 是 Spark 的机器学习库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。 MLlib 由一些通用的学习算法和工具组成，包括分类、回归、聚类、协同过滤、降维等，同时还包括底层的优...
HBase主要运行机制（物理存储和逻辑架构）
本节将对 HBase 的主要运行机制进行简单介绍。 HBase 的物理存储 HBase 表中的所有行都是按照行键的字典序排列的。因为一张表中包含的行的数量非常多，有时候会高达几亿行，所以需要分布存储到...
HDFS架构和实现机制简介 HDFS 是什么？
HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包...
大数据预处理，大数据数据清洗
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。本节介绍数据清洗的主要处理方法。 遗漏数据处理 假设在分析一个商场销...
大数据预处理架构和方法简介
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）。本节在介绍大数据预处理基本概念的基础上对数据...
通过网络爬虫采集大数据的方法
网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音...
Redis悲观锁、乐观锁和调用Lua脚本三种方式的优缺点
教程前面主要讨论了 Java 互联网的高并发应用，先谈及了一些常用的系统设计理念，用以搭建高可用的互联网应用系统，着重介绍了抢红包的高并发应用，还讨论了数据不一致的超发问题。 并且还论述...
高并发系统的分析和设计
任何系统都不是独立于业务进行开发的，真正的系统是为了实现业务而开发的，所以开发高并发网站抢购时，都应该先分析业务需求和实际的场景，在完善这些需求之后才能进入系统开发阶段。 没有对业...
Redis内存回收策略详细介绍及注意事项
Redis 也会因为内存不足而产生错误，也可能因为回收过久而导致系统长期的停顿，因此掌握执行回收策略十分有必要。在 Redis 的配置文件中，当 Redis 的内存达到规定的最大值时，允许配置 6 种策...
