2.1 什么是NOSQL
NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。
2.2 为什么需要NOSQL
随着互联网的高速崛起,网站的用户群的增加,访问量的上升,传统数据库上都开始出现了性能瓶颈,web程序不再仅仅专注在功能上,同时也在追求性能。所以NOSQL数据库应运而上,具体表现为对如下三高问题的解决:
· High performance - 对数据库高并发读写的需求
web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘IO就已经无法承受了。其实对于普通的BBS网站,往往也存在对高并发写请求的需求,例如网站的实时统计在线用户状态,记录热门帖子的点击次数,投票计数等,因此这是一个相当普遍的需求。
· Huge Storage - 对海量数据的高效率存储和访问的需求
类似Facebook,twitter,Friendfeed这样的SNS网站,每天用户产生海量的用户动态,以Friendfeed为例,一个月就达到了2.5亿条用户动态,对于关系数据库来说,在一张2.5亿条记录的表里面进行SQL查询,效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统,例如腾讯,盛大,动辄数以亿计的帐号,关系数据库也很难应付。
· High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求
在基于web的架构当中,数据库是最难进行横向扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移。
2.3 主流的NOSQL产品
· 键值(Key-Value)存储数据库
相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用: 内容缓存,主要用于处理大量数据的高访问负载。
数据模型: 一系列键值对
优势: 快速查询
劣势: 存储的数据缺少结构化
· 列存储数据库
相关产品:Cassandra, HBase, Riak
典型应用:分布式的文件系统
数据模型:以列簇式存储,将同一列数据存在一起
优势:查找速度快,可扩展性强,更容易进行分布式扩展
劣势:功能相对局限
· 文档型数据库
相关产品:CouchDB、MongoDB
典型应用:Web应用(与Key-Value类似,Value是结构化的)
数据模型: 一系列键值对
优势:数据结构要求不严格
劣势: 查询性能不高,而且缺乏统一的查询语法
· 图形(Graph)数据库
相关数据库:Neo4J、InfoGrid、Infinite Graph
典型应用:社交网络
数据模型:图结构
优势:利用图结构相关算法。
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
2.4 NOSQL的特点
在大数据存取上具备关系型数据库无法比拟的性能优势,例如:
· 易扩展
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。
· 大数据量,高性能
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。
· 灵活的数据模型
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的Web2.0时代尤其明显。
· 高可用
NoSQL在不太影响性能的情况,就可以方便的实现高可用的架构。比如Cassandra,HBase模型,通过复制模型也能实现高可用。
3. Redis概述
3.1 什么是Redis
Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库,官方提供测试数据,50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s ,且Redis通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:
· 字符串类型 string
· 散列类型 hash
· 列表类型 list
· 集合类型 set
· 有序集合类型 sortedset
3.2 redis的应用场景
· 缓存(数据查询、短连接、新闻内容、商品内容等等)
· 聊天室的在线好友列表
· 任务队列。(秒杀、抢购、12306等等)
· 应用排行榜
· 网站访问统计
· 数据过期处理(可以精确到毫秒
· 分布式集群架构中的session分离
4. window版Redis的安装与使用
4.1 windows版Redis的下载
官方提倡使用Linux版的Redis,所以官网值提供了Linux版的Redis下载,我们可以从GitHub上下载window版的Redis,具体链接地址如下:
· 官网下载地址:http://redis.io/download
· github下载地址:https://github.com/MSOpenTech/redis/tags
在今天的课程资料中提供的下载完毕的window版本的Redis:
4.2 window版Redis的目录结构
解压Redis压缩包后,见到如下目录机构:
目录或文件 作用
redis-benchmark 性能测试工具
redis-check-aof AOF文件修复工具
redis-check-dump RDB文件检查工具(快照持久化文件)
redis-cli 命令行客户端
redis-server redis服务器启动命令
redis.windows.conf redis核心配置文件
4.3 window版Redis的安装与启动
window版Redis的安装
window版的安装及其简单,解压Redis压缩包完成即安装完毕
4.4 window版Redis的启动与关闭
双击Redis目录中redis-server.exe可以启动redis服务,Redis服务占用的端口是6379
关闭Redis的控制台窗口就可以关闭Redis服务
4.5 window版Redis的使用
双击Redis目录中redis-cli.exe可以启动redis客户端
5. Redis的数据类型
5.1 Redis的5种数据类型
redis是一种高级的key-value的存储系统,其中value支持五种数据类型:
· 字符串(**String)**
· 哈希(**hash)**
· 字符串列表(**list)**
· 字符串集合(**set)**
· 有序字符串集合(sorted set)
在日常开发中主要使用比较多的有字符串、哈希、字符串列表、字符串集合四种类型,其中最为常用的是字符串类型。
关于key的定义,注意如下几点:
· key不要太长,最好不要超过1024个字节,这不仅会消耗内存还会降低查找效率
· key不要太短,如果太短会降低key的可读性
· 在项目中,key最好有一个统一的命名规范
5.2 字符串类型string
5.2.1 字符串类型string概述
字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型存入和获取的数据相同。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。
5.2.2 字符串类型string常用命令
· set key value
设定key持有指定的字符串value,如果该key存在则进行覆盖操作。总是返回”OK”
127.0.0.1:6379> set company "itcast"
OK
127.0.0.1:6379>
· get key
获取key的value。如果与该key关联的value不是String类型,redis将返回错误信息,因为get命令只能用于获取String value;如果该key不存在,返回(nil)。
127.0.0.1:6379> set name "itcast"
OK
127.0.0.1:6379> get name
"itcast"
· del key
删除指定key
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
5.3 哈希类型hash
5.3.1. 哈希类型hash概述
Redis中的Hash类型可以看成具有String Key和String Value的map容器。所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。
5.3.2. 哈希类型hash常用命令
· hset key field value
为指定的key设定field/value对(键值对)。
127.0.0.1:6379> hset myhash username haohao
(integer) 1
127.0.0.1:6379>
· hget key field
返回指定的key中的field的值
127.0.0.1:6379> hset myhash username haohao
(integer) 1
127.0.0.1:6379> hget myhash username
"haohao"
· hdel key field [field … ]
可以删除一个或多个字段,返回值是被删除的字段个数
127.0.0.1:6379> hdel myhash username
(integer) 1
127.0.0.1:6379> hget myhash username
(nil)
127.0.0.1:6379>
一次获取key的所有map的key和value:hgetall key
5.4. 列表类型list
5.4.1. 列表类型list概述
在Redis中,List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样,我们可以在其头部(left)和尾部(right)添加新的元素。
在插入时,如果该键并不存在,Redis将为该键创建一个新的链表。
与此相反,如果链表中所有的元素均被移除,那么该键也将会被从数据库中删除。
List中可以包含的最大元素数量是4294967295
5.4.2. 列表类型list
· lpush key value1 value2 …
在指定的key所关联的list的头部插入所有的values,如果该key不存在,该命令在插入的之前创建一个与该key关联的空链表,之后再向该链表的头部插入数据。插入成功,返回元素的个数。
127.0.0.1:6379> lpush mylist a b c
(integer) 3
127.0.0.1:6379>
· rpush key value value value
rpush key value value value : 在指定的key对应的list的尾部插入所有的value,
如果该key不存在,该命令在插入之前创建一个与该key对应的空链表,再从尾部插入
数据。插入成功,返回元素的个数。
right
rpush key one two three
· lpop key
返回并弹出指定的key关联的链表中的第一个元素,即头部元素。
如果该key不存在,返回nil;
若key存在,则返回链表的头部元素。
127.0.0.1:6379> lpush mylist a b c
(integer) 3
127.0.0.1:6379> lpop mylist
"c"
127.0.0.1:6379> lpop mylist
"b"
· rpop key
从尾部弹出元素。
127.0.0.1:6379> lpush mylist a b c
(integer) 3
127.0.0.1:6379> rpop mylist
"a"
5.5. 集合类型set
5.5.1. 集合类型set
在Redis中,我们可以将Set类型看作为没有排序的字符集合,和List类型一样,我们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要说明的是,这些操作的时间复杂度为O(1),即常量时间内完成次操作。Set可包含的最大元素数量是4294967295,和List类型不同的是,Set集合中不允许出现重复的元素。
5.5.2. 集合类型set的常用命令
· sadd key values[value1、value2…]
向set中添加数据,如果该key的值已有则不会重复添加
127.0.0.1:6379> sadd myset a b c
(integer) 3
· smembers key
获取set中所有的成员
127.0.0.1:6379> sadd myset a b c
(integer) 3
127.0.0.1:6379> smembers myset
1) "c"
2) "a"
3) "b"
· srem key members[member1、member2…]
删除set中指定的成员
127.0.0.1:6379> srem myset a b
(integer) 2
127.0.0.1:6379> smembers myset
1) "c"
127.0.0.1:6379>
6. Redis的通用命令
· keys pattern
获取所有与pattern匹配的key,返回所有与该key匹配的keys。*表示任意一个或多个字符,?表示任意一个字符
127.0.0.1:6379> keys *
1) "company"
2) "mylist"
3) "myhash"
4) "myset"
· del key1 key2…
删除指定的key
127.0.0.1:6379> del company
(integer) 1
· exists key
判断该key是否存在,1代表存在,0代表不存在
127.0.0.1:6379> exists compnay
(integer) 0
127.0.0.1:6379> exists mylist
(integer) 1
127.0.0.1:6379>
· type key
获取指定key的类型。该命令将以字符串的格式返回。 返回的字符串为string、list、set、hash,如果key不存在返回none
127.0.0.1:6379> type company
string
127.0.0.1:6379> type mylist
list
127.0.0.1:6379> type myset
set
127.0.0.1:6379> type myhash
hash
127.0.0.1:6379>
7. Jedis的基本使用
7.1. jedis的介绍
Redis不仅是使用命令来操作,现在基本上主流的语言都有客户端支持,比如java、C、C#、C++、php、Node.js、Go等。
在官方网站里列一些Java的客户端,有Jedis、Redisson、Jredis、JDBC-Redis、等其中官方推荐使用Jedis和Redisson。
在企业中用的最多的就是Jedis,Jedis同样也是托管在github上,地址:https://github.com/xetorthio/jedis。
下载jedis解压后得到jar包如下:java操作redis数据库API(Jedis)
1531536384483.png
7.2. jedis的基本操作
7.2.1. jedis常用API
方法 解释
new Jedis(host, port) 创建jedis对象,参数host是redis服务器地址,参数port是redis服务端口
set(key,value) 设置字符串类型的数据
get(key) 获得字符串类型的数据
hset(key,field,value) 设置哈希类型的数据
hget(key,field) 获得哈希类型的数据
lpush(key,values) 设置列表类型的数据
lpop(key) 列表左面弹栈
rpop(key) 列表右面弹栈
del(key) 删除指定的key
7.2.2. jedis的基本操作
@Test
public void testJedisSingle(){
//1 设置ip地址和端口
Jedis jedis = new Jedis("localhost", 6379);
//2 设置数据
jedis.set("name", "itheima");
//3 获得数据
String name = jedis.get("name");
System.out.println(name);
//4 释放资源
jedis.close();
}
7.3. jedis连接池的使用
7.3.1. jedis连接池的基本概念
jedis连接资源的创建与销毁是很消耗程序性能,所以jedis为我们提供了jedis的池化技术,
jedisPool在创建时初始化一些连接资源存储到连接池中,使用jedis连接资源时不需要创建,
而是从连接池中获取一个资源进行redis的操作,使用完毕后,不需要销毁该jedis连接资源,
而是将该资源归还给连接池,供其他请求使用。
7.3.2. jedisPool的基本使用
@Test
public void testJedisPool(){
//1 获得连接池配置对象,设置配置项
JedisPoolConfig config = new JedisPoolConfig();
// 1.1 最大连接数
config.setMaxTotal(30);
// 1.2 最大空闲连接数
config.setMaxIdle(10);
//2 获得连接池
JedisPool jedisPool = new JedisPool(config, "localhost", 6379);
//3 获得核心对象
Jedis jedis = null;
try {
jedis = jedisPool.getResource();
//4 设置数据
jedis.set("name", "itcast");
//5 获得数据
String name = jedis.get("name");
System.out.println(name);
} catch (Exception e) {
e.printStackTrace();
} finally{
if(jedis != null){
jedis.close();
}
// 虚拟机关闭时,释放pool资源
if(jedisPool != null){
jedisPool.close();
}
}
}
7.4. 案例-编写jedis连接池工具类
JedisUtils.java
package util;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import java.util.ResourceBundle;
/**
* Jedis工具类
*/
public final class JedisUtil {
private JedisUtil(){}
private static JedisPool jedilPool;
private static int maxtotal;
private static int maxwaitmillis;
private static String host;
private static int port;;
/**
* 读取jedis.properties配置文件
*/
static{
ResourceBundle rb = ResourceBundle.getBundle("jedis");
maxtotal = Integer.parseInt(rb.getString("maxtotal"));
maxwaitmillis = Integer.parseInt(rb.getString("maxwaitmillis"));
host = rb.getString("host");
port = Integer.parseInt(rb.getString("port"));
}
/**
* 创建连接池
*/
static{
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxTotal(maxtotal);
jedisPoolConfig.setMaxWaitMillis(maxwaitmillis);
jedilPool = new JedisPool(jedisPoolConfig,host,port);
}
/**
* 获取Jedis
*/
public static Jedis getJedis(){
return jedilPool.getResource();
}
/**
* 关闭Jedis
*/
public static void close(Jedis jedis){
if(jedis!=null){
jedis.close();
}
}
}
jedis.properties(resource目录下配置文件)
maxtotal=100
maxwaitmillis=3000
host=127.0.0.1
port=6379
8. 案例:Redis实战之查询所有省份(重点)
需求:访问index.jsp页面,使用ajax请求加载省份列表,用户第一次访问数据库获取,以后都从redis里面获取。
需要注意的问题:
1.jedis.properties配置文件:
host=127.0.0.1
port=6379
maxTotal=50
maxIdle=10
2.添加jedis连接池工具
package com.itheima.pcd.utils;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import java.util.ResourceBundle;
/**
* jedis连接池工具类
*/
public class JedisUtil {
private static JedisPool jedisPool = null;//jedis连接池对象
//静态代码块初始化JedisPool
static{
//读取配置文件jedis.properties里面的配置信息
//ResourceBundle,专门用于解析properties文件的,不需要后缀名
ResourceBundle resourceBundle = ResourceBundle.getBundle("jedis");
String host = resourceBundle.getString("host");
int port = Integer.parseInt(resourceBundle.getString("port"));
int maxTotal = Integer.parseInt(resourceBundle.getString("maxTotal"));
int maxIdle = Integer.parseInt(resourceBundle.getString("maxIdle"));
//根据配置信息创建jedis配置对象
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxIdle(maxIdle);
jedisPoolConfig.setMaxTotal(maxTotal);
//初始化JedisPool
jedisPool = new JedisPool(jedisPoolConfig,host,port);
}
/**
* 返回一个jedis连接
* @return
*/
public static Jedis getJedis(){
return jedisPool.getResource();
}
/**
* 关闭资源
* @param jedis
*/
public static void close(Jedis jedis){
if(jedis!=null){
jedis.close();
}
//jedisPool关闭确实可以防止虚拟机关闭后占用,但是这里不可以关闭,因为我们会重复使用连接池,所以不能关
// if(jedisPool!=null){
// jedisPool.close();
// }
}
}
3.业务层核心代码实现:
package com.itheima.pcd.service.impl;
import com.alibaba.fastjson.JSON;
import com.itheima.pcd.dao.DaoCity;
import com.itheima.pcd.dao.impl.DaoCityImpl;
import com.itheima.pcd.entity.City;
import com.itheima.pcd.service.ServiceCity;
import com.itheima.pcd.utils.JedisUtil;
import redis.clients.jedis.Jedis;
import java.util.List;
/**
* description:<业务处理:第一次从数据库加载,而后从redis缓存池中查找数据>
* create by Richard on 2018-07-15
*/
public class ServiceCityImpl implements ServiceCity {
@Override
public String getCityList(int pid ) {
//从工具类中获取jedis对象
Jedis jedis = JedisUtil.getJedis();
//在缓存中查找key为citylist的value是否存在
String Jsonlist = jedis.get("CITIES");
//若不存在缓存中 那么从数据库查询到集合 并以json格式存到jedis缓存中
if (Jsonlist == null) {
DaoCity daoCity = new DaoCityImpl();
List<City> cityList = daoCity.getCityList(pid);
Jsonlist = JSON.toJSONString(cityList);
jedis.set("CITIES", Jsonlist);
}
JedisUtil.close(jedis);
return Jsonlist;
}
}
网友评论