Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架，可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。 1. Scrapy 架构 Scrapy 的整体架构由 Scrapy 引擎（Scra...

大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。 大数据价值的完整体现...

大数据时代的到来改变了人们的生活方式、思维模式和研究范式，我们可以总结出 10 个重大变化，如图 1 所示。 图 1  大数据时代的 10 个重大变化 对研究范式的新认识：从第三范式到第四范式 20...

近年来，信息技术迅猛发展，尤其是以互联网、物联网、信息获取、社交网络等为代表的技术日新月异，促使手机、平板电脑、pc 等各式各样的信息传感器随处可见，虚拟网络快速发展，现实世界快速虚...

尽管 Redis 的性能很好，但是有时候依旧满足不了应用的需要，比如过多的用户进入主页，导致 Redis 被频繁访问，此时就存在大量的读操作。 对于一些热门网站的某个时刻（比如促销商品的时候）每...

对于 Redis 而言，不单单需要注意其事务处理的过程，其回滚的能力也和数据库不太一样，这也是需要特别注意的一个问题——Redis 事务遇到的命令格式正确而数据类型不符合，如图 1 所示。 图 1  ...

基数是一种算法。举个例子，一本英文著作由数百万个单词组成，你的内存却不足以存储它们，那么我们先分析一下业务。 英文单词本身是有限的，在这本书的几百万个单词中有许许多多重复单词，扣去...

Redis 等 NoSQL 工具也能够存储数据，有人认为 NoSQL 来会取代数据库，但是笔者却不那么认为，这里谈谈 NoSQL 和传统数据库的差异。 首先，NoSQL 的数据主要存储在内存中（部分可以持久化到磁盘...

在 Java 中，可以简易地使用 Redis，或者通过 Spring 的 RedisTemplate 使用 Redis。 为了实际的工作和学习的需要，本教程会以 Spring 的视角为主向读者介绍在 Java 中如何使用 Redis，不过在基...

一般而言 Redis 在 Java Web 应用中存在两个主要的场景，一个是缓存常用的数据，另一个是在需要高速读/写的场合使用它快速读/写，比如一些需要进行商品抢购和抢红包的场合。 由于在高并发的情况...