Hadoop大数据处理框架简介，什么是Hadoop 生态圈？
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来，Hadoop 被贡献给了 Apache 基金会，...
离散化和数值概念层次树简介
离散化技术方法可以通过将属性（连续取值）域值范围分为若干区间，来帮助消减一个连续（取值）属性的取值个数。可以用一个标签来表示一个区间内的实际数据值。在基于决策树的分类挖掘中，消减属...
通过系统日志采集大数据的实现方法
许多公司的平台每天都会产生大量的日志，并且一般为流式数据，如搜索引擎的 pv 和查询等。处理这些日志需要特定的日志系统，这些系统需要具有以下特征。 构建应用系统和分析系统的桥梁，并将它...
大数据的产生和作用，大数据的产生过程
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不...
Redis乐观锁解决高并发抢红包的问题
乐观锁是一种不会阻塞其他线程并发的机制，它不会使用数据库的锁进行实现，它的设计里面由于不阻塞其他线程，所以并不会引发线程频繁挂起和恢复，这样便能够提高并发能力，所以也有人把它称为非...
互联网系统应用架构基础分析
在互联网系统中包含许多的工具，每个企业都有自己的架构，正如没有完美的程序一样，也不会有完美的架构。本节分析的架构严格来说并不严谨，但是却包含了互联网的思想，互联网架构如图 1 所示。 ...
Spring整合Redis详细步骤
Spring整合Redis主要有以下几个步骤: 1. 添加Redis的依赖库 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3....
Redis和数据库的结合使用示例及代码
使用 Redis 可以优化性能，但是存在 Redis 的数据和数据库同步的问题，这是我们需要关注的问题。假设两个业务逻辑都是在操作数据库的同一条记录，而 Redis 和数据库不一致，如图 1 的场景。 图 ...
Redis哨兵（Sentinel）模式的配置方法及其在Java中的用法
Redis哨兵(Sentinel)模式用于管理多个Redis节点,监控主节点是否下线,并在下线时自动将从节点提升为主节点,保证高可用性。本文将介绍Sentinel模式的配置方法及其在Java中的使用。 1. 安装Redis ...
Redis基本安装和使用图文教程
安装 Redis 十分简单，为了方便学习可以在 Windows 环境下安装 Redis，当然实际的工作中主要使用 Linux/Unix 系统安装，教程后面会给出安装方法。打开网址 https://github.com/MSOpenTech/redis...
