美文网首页
NOSQL数据库-Redis

NOSQL数据库-Redis

作者: 北冥有鱼_很好吃 | 来源:发表于2018-07-17 11:12 被阅读0次

2.1 什么是NOSQL

NoSQL(NoSQL = Not Only SQL),意即“不仅仅是SQL”,是一项全新的数据库理念,泛指非关系型的数据库。

2.2 为什么需要NOSQL

随着互联网的高速崛起,网站的用户群的增加,访问量的上升,传统数据库上都开始出现了性能瓶颈,web程序不再仅仅专注在功能上,同时也在追求性能。所以NOSQL数据库应运而上,具体表现为对如下三高问题的解决:

·        High performance - 对数据库高并发读写的需求 

web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘IO就已经无法承受了。其实对于普通的BBS网站,往往也存在对高并发写请求的需求,例如网站的实时统计在线用户状态,记录热门帖子的点击次数,投票计数等,因此这是一个相当普遍的需求。

·        Huge Storage - 对海量数据的高效率存储和访问的需求 

类似Facebook,twitter,Friendfeed这样的SNS网站,每天用户产生海量的用户动态,以Friendfeed为例,一个月就达到了2.5亿条用户动态,对于关系数据库来说,在一张2.5亿条记录的表里面进行SQL查询,效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统,例如腾讯,盛大,动辄数以亿计的帐号,关系数据库也很难应付。 

·        High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求 

在基于web的架构当中,数据库是最难进行横向扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移。

2.3 主流的NOSQL产品

· 键值(Key-Value)存储数据库

相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB

典型应用: 内容缓存,主要用于处理大量数据的高访问负载。 

数据模型: 一系列键值对

优势: 快速查询

劣势: 存储的数据缺少结构化

· 列存储数据库

相关产品:Cassandra, HBase, Riak

典型应用:分布式的文件系统

数据模型:以列簇式存储,将同一列数据存在一起

优势:查找速度快,可扩展性强,更容易进行分布式扩展

劣势:功能相对局限

· 文档型数据库

相关产品:CouchDB、MongoDB

典型应用:Web应用(与Key-Value类似,Value是结构化的)

数据模型: 一系列键值对

优势:数据结构要求不严格

劣势: 查询性能不高,而且缺乏统一的查询语法

· 图形(Graph)数据库

相关数据库:Neo4J、InfoGrid、Infinite Graph

典型应用:社交网络

数据模型:图结构

优势:利用图结构相关算法。

劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。

2.4 NOSQL的特点

在大数据存取上具备关系型数据库无法比拟的性能优势,例如:

·        易扩展

NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。

·        大数据量,高性能

NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。

·        灵活的数据模型

NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的Web2.0时代尤其明显。

·        高可用

NoSQL在不太影响性能的情况,就可以方便的实现高可用的架构。比如Cassandra,HBase模型,通过复制模型也能实现高可用。

3. Redis概述

3.1 什么是Redis

Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库,官方提供测试数据,50个并发执行100000个请求,读的速度是110000次/s,写的速度是81000次/s ,且Redis通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:

·        字符串类型 string

·        散列类型 hash

·        列表类型 list

·        集合类型 set

·        有序集合类型 sortedset

3.2 redis的应用场景

·        缓存(数据查询、短连接、新闻内容、商品内容等等)

·        聊天室的在线好友列表

·        任务队列。(秒杀、抢购、12306等等)

·        应用排行榜

·        网站访问统计

·        数据过期处理(可以精确到毫秒

·        分布式集群架构中的session分离

4. window版Redis的安装与使用

4.1 windows版Redis的下载

官方提倡使用Linux版的Redis,所以官网值提供了Linux版的Redis下载,我们可以从GitHub上下载window版的Redis,具体链接地址如下:

·        官网下载地址:http://redis.io/download

·        github下载地址:https://github.com/MSOpenTech/redis/tags

在今天的课程资料中提供的下载完毕的window版本的Redis:

4.2 window版Redis的目录结构

解压Redis压缩包后,见到如下目录机构:

目录或文件 作用
redis-benchmark 性能测试工具
redis-check-aof AOF文件修复工具
redis-check-dump RDB文件检查工具(快照持久化文件)
redis-cli 命令行客户端
redis-server redis服务器启动命令
redis.windows.conf redis核心配置文件

4.3 window版Redis的安装与启动

window版Redis的安装

window版的安装及其简单,解压Redis压缩包完成即安装完毕

4.4 window版Redis的启动与关闭

双击Redis目录中redis-server.exe可以启动redis服务,Redis服务占用的端口是6379

关闭Redis的控制台窗口就可以关闭Redis服务

4.5 window版Redis的使用

双击Redis目录中redis-cli.exe可以启动redis客户端

5. Redis的数据类型

5.1 Redis的5种数据类型

redis是一种高级的key-value的存储系统,其中value支持五种数据类型:

·        字符串(**String)**

·        哈希(**hash)**

·        字符串列表(**list)**

·        字符串集合(**set)**

·        有序字符串集合(sorted set)

在日常开发中主要使用比较多的有字符串、哈希、字符串列表、字符串集合四种类型,其中最为常用的是字符串类型。

 关于key的定义,注意如下几点:

·        key不要太长,最好不要超过1024个字节,这不仅会消耗内存还会降低查找效率

·        key不要太短,如果太短会降低key的可读性 

·        在项目中,key最好有一个统一的命名规范

5.2 字符串类型string

5.2.1 字符串类型string概述

字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型存入和获取的数据相同。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。

5.2.2 字符串类型string常用命令

· set key value

设定key持有指定的字符串value,如果该key存在则进行覆盖操作。总是返回”OK”

127.0.0.1:6379> set company "itcast"

OK

127.0.0.1:6379>

· get key

获取key的value。如果与该key关联的value不是String类型,redis将返回错误信息,因为get命令只能用于获取String value;如果该key不存在,返回(nil)。

127.0.0.1:6379> set name "itcast"

OK

127.0.0.1:6379> get name

"itcast"

· del key

删除指定key

127.0.0.1:6379> del name

(integer) 1

127.0.0.1:6379> get name

(nil)

5.3 哈希类型hash

5.3.1. 哈希类型hash概述

Redis中的Hash类型可以看成具有String Key和String Value的map容器。所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。

5.3.2. 哈希类型hash常用命令

· hset key field value

为指定的key设定field/value对(键值对)。

127.0.0.1:6379> hset myhash username haohao

(integer) 1

127.0.0.1:6379>

· hget key field

返回指定的key中的field的值

127.0.0.1:6379> hset myhash username haohao

(integer) 1

127.0.0.1:6379> hget myhash username

"haohao"

· hdel key field [field … ]

可以删除一个或多个字段,返回值是被删除的字段个数

127.0.0.1:6379> hdel myhash username

(integer) 1

127.0.0.1:6379> hget myhash username

(nil)

127.0.0.1:6379>

一次获取key的所有map的key和value:hgetall key

5.4. 列表类型list

5.4.1. 列表类型list概述

在Redis中,List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样,我们可以在其头部(left)和尾部(right)添加新的元素。

在插入时,如果该键并不存在,Redis将为该键创建一个新的链表。

与此相反,如果链表中所有的元素均被移除,那么该键也将会被从数据库中删除。

List中可以包含的最大元素数量是4294967295

5.4.2. 列表类型list

· lpush key value1 value2 …

在指定的key所关联的list的头部插入所有的values,如果该key不存在,该命令在插入的之前创建一个与该key关联的空链表,之后再向该链表的头部插入数据。插入成功,返回元素的个数。

127.0.0.1:6379> lpush mylist a b c

(integer) 3

127.0.0.1:6379>

· rpush key value value value

rpush key value value value : 在指定的key对应的list的尾部插入所有的value

如果该key不存在,该命令在插入之前创建一个与该key对应的空链表,再从尾部插入

数据。插入成功,返回元素的个数。

right

rpush key one two three

· lpop key

返回并弹出指定的key关联的链表中的第一个元素,即头部元素。

如果该key不存在,返回nil;

若key存在,则返回链表的头部元素。

127.0.0.1:6379> lpush mylist a b c

(integer) 3

127.0.0.1:6379> lpop mylist

"c"

127.0.0.1:6379> lpop mylist

"b"

· rpop key

从尾部弹出元素。

127.0.0.1:6379> lpush mylist a b c

(integer) 3

127.0.0.1:6379> rpop mylist

"a"

5.5. 集合类型set

5.5.1. 集合类型set

在Redis中,我们可以将Set类型看作为没有排序的字符集合,和List类型一样,我们也可以在该类型的数据值上执行添加、删除或判断某一元素是否存在等操作。需要说明的是,这些操作的时间复杂度为O(1),即常量时间内完成次操作。Set可包含的最大元素数量是4294967295,和List类型不同的是,Set集合中不允许出现重复的元素。

5.5.2. 集合类型set的常用命令

· sadd key values[value1value2…]

向set中添加数据,如果该key的值已有则不会重复添加

127.0.0.1:6379> sadd myset a b c

(integer) 3

· smembers key

获取set中所有的成员

127.0.0.1:6379> sadd myset a b c

(integer) 3

127.0.0.1:6379> smembers myset

1) "c"

2) "a"

3) "b"

· srem key members[member1member2…]

删除set中指定的成员

127.0.0.1:6379> srem myset a b

(integer) 2

127.0.0.1:6379> smembers myset

1) "c"

127.0.0.1:6379>

6. Redis的通用命令

· keys pattern

获取所有与pattern匹配的key,返回所有与该key匹配的keys。*表示任意一个或多个字符,?表示任意一个字符

127.0.0.1:6379> keys *

1) "company"

2) "mylist"

3) "myhash"

4) "myset"

· del key1 key2…

删除指定的key

127.0.0.1:6379> del company

(integer) 1

· exists key

判断该key是否存在,1代表存在,0代表不存在

127.0.0.1:6379> exists compnay

(integer) 0

127.0.0.1:6379> exists mylist

(integer) 1

127.0.0.1:6379>

· type key

获取指定key的类型。该命令将以字符串的格式返回。 返回的字符串为string、list、set、hash,如果key不存在返回none

127.0.0.1:6379> type company

string

127.0.0.1:6379> type mylist

list

127.0.0.1:6379> type myset

set

127.0.0.1:6379> type myhash

hash

127.0.0.1:6379>

7. Jedis的基本使用

7.1. jedis的介绍

Redis不仅是使用命令来操作,现在基本上主流的语言都有客户端支持,比如java、C、C#、C++、php、Node.js、Go等。

在官方网站里列一些Java的客户端,有Jedis、Redisson、Jredis、JDBC-Redis、等其中官方推荐使用Jedis和Redisson。

在企业中用的最多的就是Jedis,Jedis同样也是托管在github上,地址:https://github.com/xetorthio/jedis

下载jedis解压后得到jar包如下:java操作redis数据库API(Jedis)


1531536384483.png

7.2. jedis的基本操作

7.2.1. jedis常用API

方法 解释
new Jedis(host, port) 创建jedis对象,参数host是redis服务器地址,参数port是redis服务端口
set(key,value) 设置字符串类型的数据
get(key) 获得字符串类型的数据
hset(key,field,value) 设置哈希类型的数据
hget(key,field) 获得哈希类型的数据
lpush(key,values) 设置列表类型的数据
lpop(key) 列表左面弹栈
rpop(key) 列表右面弹栈
del(key) 删除指定的key

7.2.2. jedis的基本操作

@Test

public void testJedisSingle(){

    //1 设置ip地址和端口

    Jedis jedis = new Jedis("localhost", 6379);

    //2 设置数据

    jedis.set("name", "itheima");

    //3 获得数据

    String name = jedis.get("name");

    System.out.println(name);

    //4 释放资源

    jedis.close();

}

7.3. jedis连接池的使用

7.3.1. jedis连接池的基本概念

jedis连接资源的创建与销毁是很消耗程序性能,所以jedis为我们提供了jedis的池化技术,

jedisPool在创建时初始化一些连接资源存储到连接池中,使用jedis连接资源时不需要创建,

而是从连接池中获取一个资源进行redis的操作,使用完毕后,不需要销毁该jedis连接资源,

而是将该资源归还给连接池,供其他请求使用。

7.3.2. jedisPool的基本使用

@Test

public void testJedisPool(){

    //1 获得连接池配置对象,设置配置项

    JedisPoolConfig config = new JedisPoolConfig();

    // 1.1 最大连接数

    config.setMaxTotal(30);

    // 1.2  最大空闲连接数

    config.setMaxIdle(10);

    

    //2 获得连接池

    JedisPool jedisPool = new JedisPool(config, "localhost", 6379);

    

    //3 获得核心对象

    Jedis jedis = null;

    try {

        jedis = jedisPool.getResource();

        

        //4 设置数据

        jedis.set("name", "itcast");

        //5 获得数据

        String name = jedis.get("name");

        System.out.println(name);

        

    } catch (Exception e) {

        e.printStackTrace();

    } finally{

        if(jedis != null){

            jedis.close();

        }

        // 虚拟机关闭时,释放pool资源

        if(jedisPool != null){

            jedisPool.close();

        }

    }

}

7.4. 案例-编写jedis连接池工具类

JedisUtils.java

package util;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

import java.util.ResourceBundle;

/**
 * Jedis工具类
 */
public final class JedisUtil {
    private JedisUtil(){}
    private static JedisPool jedilPool;
    private static int maxtotal;
    private static int maxwaitmillis;
    private static String host;
    private static int port;;
    
    /**
     * 读取jedis.properties配置文件
     */
    static{
        ResourceBundle rb = ResourceBundle.getBundle("jedis");
        maxtotal = Integer.parseInt(rb.getString("maxtotal"));
        maxwaitmillis = Integer.parseInt(rb.getString("maxwaitmillis"));
        host = rb.getString("host");
        port = Integer.parseInt(rb.getString("port"));
    }
    /**
     * 创建连接池
     */
    static{
        JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
        jedisPoolConfig.setMaxTotal(maxtotal);
        jedisPoolConfig.setMaxWaitMillis(maxwaitmillis);
        jedilPool = new JedisPool(jedisPoolConfig,host,port);
    }
    /**
     * 获取Jedis
     */
    public static Jedis getJedis(){
        return jedilPool.getResource();
    }
    /**
     * 关闭Jedis
     */
    public static void close(Jedis jedis){
        if(jedis!=null){
            jedis.close();
        }
    }
}

jedis.properties(resource目录下配置文件)

maxtotal=100
maxwaitmillis=3000
host=127.0.0.1
port=6379

8. 案例:Redis实战之查询所有省份(重点)

需求:访问index.jsp页面,使用ajax请求加载省份列表,用户第一次访问数据库获取,以后都从redis里面获取。
需要注意的问题:

1.jedis.properties配置文件:

host=127.0.0.1
port=6379
maxTotal=50
maxIdle=10

2.添加jedis连接池工具

package com.itheima.pcd.utils;

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;

import java.util.ResourceBundle;

/**
 * jedis连接池工具类
 */
public class JedisUtil {

    private static JedisPool jedisPool = null;//jedis连接池对象

    //静态代码块初始化JedisPool
    static{
        //读取配置文件jedis.properties里面的配置信息
        //ResourceBundle,专门用于解析properties文件的,不需要后缀名
        ResourceBundle resourceBundle = ResourceBundle.getBundle("jedis");
        String host = resourceBundle.getString("host");
        int port = Integer.parseInt(resourceBundle.getString("port"));
        int maxTotal = Integer.parseInt(resourceBundle.getString("maxTotal"));
        int maxIdle = Integer.parseInt(resourceBundle.getString("maxIdle"));
        //根据配置信息创建jedis配置对象
        JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
        jedisPoolConfig.setMaxIdle(maxIdle);
        jedisPoolConfig.setMaxTotal(maxTotal);
        //初始化JedisPool
        jedisPool = new JedisPool(jedisPoolConfig,host,port);
    }


    /**
     * 返回一个jedis连接
     * @return
     */
    public static Jedis getJedis(){
        return jedisPool.getResource();
    }

    /**
     * 关闭资源
     * @param jedis
     */
    public static void close(Jedis jedis){
        if(jedis!=null){
            jedis.close();
        }
        //jedisPool关闭确实可以防止虚拟机关闭后占用,但是这里不可以关闭,因为我们会重复使用连接池,所以不能关
//        if(jedisPool!=null){
//            jedisPool.close();
//        }
    }
}

3.业务层核心代码实现:

package com.itheima.pcd.service.impl;

import com.alibaba.fastjson.JSON;
import com.itheima.pcd.dao.DaoCity;
import com.itheima.pcd.dao.impl.DaoCityImpl;
import com.itheima.pcd.entity.City;
import com.itheima.pcd.service.ServiceCity;
import com.itheima.pcd.utils.JedisUtil;
import redis.clients.jedis.Jedis;

import java.util.List;

/**
 * description:<业务处理:第一次从数据库加载,而后从redis缓存池中查找数据>
 * create by Richard  on  2018-07-15
 */
public class ServiceCityImpl implements ServiceCity {
    @Override
    public String getCityList(int pid ) {
         //从工具类中获取jedis对象
        Jedis jedis = JedisUtil.getJedis();
        //在缓存中查找key为citylist的value是否存在
        String Jsonlist = jedis.get("CITIES");
        //若不存在缓存中 那么从数据库查询到集合 并以json格式存到jedis缓存中
        if (Jsonlist == null) {
            DaoCity daoCity = new DaoCityImpl();
            List<City> cityList = daoCity.getCityList(pid);
            Jsonlist = JSON.toJSONString(cityList);
            jedis.set("CITIES", Jsonlist);
        }
        JedisUtil.close(jedis);
        return Jsonlist;
    }
}

相关文章

网友评论

      本文标题:NOSQL数据库-Redis

      本文链接:https://www.haomeiwen.com/subject/jfjwpftx.html