美文网首页
python redis lua 脚本 实战一个限流或抢红包等业

python redis lua 脚本 实战一个限流或抢红包等业

作者: hugoren | 来源:发表于2018-10-30 16:35 被阅读0次

    知识点

    1.lua是什么
    2.redis,lua,python(java)三者的关系
    3.用lua承载业务逻辑

    为何加入一个lua脚本

    • 减少网络开销。可以将多个请求通过脚本的形式一次发送,减少网络时延
    • 原子操作。redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件,无需使用事务。
    • 复用。客户端发送的脚步会永久存在redis中,这样,其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。

    lua环境安装

    本机测试地址在虚拟机centos-30上
    安装请参照Redis安装
    ps:安装教程为集群模式,本demo单实例的redis即可,参照前面几步,不使用ruby脚本部分。

    • 安装依赖和Lua:
    > yum install -y readline
    > yum install -y readline-devel
    > wget http://www.lua.org/ftp/lua-5.1.1.tar.gz
    > tar -zxvf lua-5.1.1.tar.gz -C /usr/local/
    > cd /usr/local/lua-5.1.1
    > make linux
    > make install
    
    
    • 验证
    > lua
    > print("hello world")
    > hello world
    
    

    Redis 调用Lua脚本 三种方式* eval

    • evalsha
    • script load
      eval用来直接执行lua脚本,使用方式如下
    EVAL script numkeys key [key ...] arg [arg ...]
    
    > eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
    1) "key1"
    2) "key2"
    3) "first"
    4) "second"
    
    

    key代表要操作的rediskey
    arg可以传自定义的参数
    numkeys用来确定key有几个
    script就是你写的lua脚本
    lua脚本里面使用KEYS[1]和ARGV[1]来获取传递的key和arg

    lua语法详见lua教程

    local result=0
        local id= redis.call('get',KEYS[1])
    if id then
        result= redis.call('sismember',id,KEYS[2])
    end
     
    if result==1 then
        redis.call('expire',KEYS[1],ARGV[1])
    end
      
    return result
    

    方式1

    redis-cli  --eval 1.lua 2 user1 user:list 1800
    

    方式2

      redis-cli  eval "$(1.lua)" 2 user1 user:list 1800
    

    方式3

      redis-cli  script load "$(cat 1.lua)"
      redis-cli  evalsha 2cfe726fe60678e8ed4d689a3e98727d1e1e2339 1 test 1
    
    • 脚本Demo 文件名:redis.lua
    redis.call('set','age','18')
    local age = redis.call('get','age')
    return age;
    
    
    • 启动Redis
    > /usr/local/redis-3.2.9/src/redis-server /usr/local/redis-3.2.9/redis.conf
    
    
    • 运行脚本
      由于在conf中配置了bind ip ,故下面-h指定了host。使用eval命令执行
    > /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis.lua
    >"18"     #set了age,并返回了value = 18
    
    

    此时如果用redis-cli连接redis 。keys * 可看到有age 这个key了。

    Redis调用带参数Lua脚本

    • 命令格式:
      /redis-cli -h 192.168.1.30 -p 6379 --eval /.lua key1 key2... , value1 value2*
    • 脚本内容:
    --获取key1 的值,并赋值给local age
    local age = redis.call('get', KEYS[1]);
    if age == 18 then
    redis.call('set',KEYS[2],ARGV[1])
    end
    
    

    当key1="age"的值为18时,设置key2 ="name" 的value为"mawenxia"

    • 运行脚本
    > /usr/local/redis-3.2.9/src/redis-cli -h 192.168.1.30 -p 6379 --eval /usr/local/luadir/redis-arg.lua age name , mawenxia
    
    
    • 可看到多了一个key为name,并且内容为"mawenxia"

      [图片上传失败...(image-90eef1-1540882227440)]

    python 操作redis lua 脚本

    import redis
    pool = redis.ConnectionPool(host="localhost", port=6379, db=0)
    r = redis.Redis(connection_pool=pool)
    
    lua_2 = """
       local ret = redis.call("get", KEYS[1])
       return ret
    """
    script_2 = r.register_script(lua_2)
    
    print(script_2(keys=["hugo"]))
    

    结果:


    image.png

    JAVA操作Redis Lua脚本

    public class TestSingleRedis {
    
        private static Jedis jedis;     //单实例[]
        private static ShardedJedis shard;      //分片[]
        private static ShardedJedisPool pool;   //池化[apache common - pool2]
    
        @BeforeClass
        public static void setUpBeforeClass() throws Exception {
            //单个节点
            jedis = new Jedis("192.168.1.30", 6379);
            //分片
            List<JedisShardInfo> shards = Arrays.asList(
                    new JedisShardInfo("192.168.1.30",6379));
    
            shard = new ShardedJedis(shards);
            //池化
            GenericObjectPoolConfig goConfig = new GenericObjectPoolConfig();
            goConfig.setMaxTotal(100);
            goConfig.setMaxIdle(20);
            goConfig.setMaxWaitMillis(-1);
            goConfig.setTestOnBorrow(true);        
            pool = new ShardedJedisPool(goConfig, shards);
        }
    
        @AfterClass
        public static void tearDownAfterClass() throws Exception {
            jedis.disconnect();
            shard.disconnect();
            pool.destroy();
        }
      /**
         * <B>方法名称:</B>Redis使用Lua执行应用程序<BR>
         * <B>概要说明:</B>
         * 我们可以使用Redis+Lua的方式,实现一个完整的事务、保证事务的原子性。
         * 如何使用Redis+Lua?
         * 我们使用scriptLoad方法,把我们写好的lua脚本加载到Redis的内存中(注意是内存,每次重启则失效)。
         * scriptLoad方法会返回一个索引Key,我们只需要通过这个索引Key就可以找到我们之前放到Redis里的脚本。
         * 调用evalsha方法,传入索引key,以及操作键、参数值。进行返回 <BR>
         */
        /**
         * lua script:
         *      local t1 = redis.call('hgetall',KEYS[1]);
         *      if type(t1) == 'table' then 
         *          return t1;
         *      end;
         *
         *  type(t1) == 'table': lua的表类型,redis的hash类型属于这个类型
         */
        public static final String SCRIPT = 
                "local t1 = redis.call('hgetall',KEYS[1]);" + "\n" +
                "if type(t1) == 'table' then" + "\n" +
                "return t1;" + "\n" +
                "end;" + "\n" ;
        @Test
        public void  testLua(){
            /**
             * 把string类型的脚本放入redis的scriptLoad中,变成一个可执行的脚本
             * 并且会返回一个shakey,使用这个shakey来调用脚本
             */
            String shakey = jedis.scriptLoad(SCRIPT);//加载脚本,获取sha索引 
            System.out.println("shakey: " + shakey);
            //要获取的key值
            List<String> keys = new ArrayList<>();
            keys.add("myhash");
            //传入的参数。这里没有加参数
            List<String> args = new ArrayList<>();
            // /usr/local/bin/redis-cli -h 192.168.1.115 -p 6379 --eval /usr/local/luadir/03.lua name age , baihezhuo
            List<String> ret = (List<String>)jedis.evalsha(shakey, keys, args);
    
            System.out.println(ret);
            jedis.close();
        }
    
    }
    
    
    • 注意:由于本脚本取的是key为"myhash"的值,故需要在redis中插入该数据,否则取到的值是空的。

    Lua表类型

    • Lua表类型类似一个数组。跟其他语言不同的是,Lua中可以用任意类型作为下标。
     //定义空表
    T1={} 
    //赋值
    T1["name"] = "mawenxia"
    T1["age"] = 18
    //其他赋值方式
    T1.name = "mawenxia"
    T1.age = 18
    //其他赋值方式
    T1.person = {name="mawenxia",age=18}
    
    
    • 安装Lua的Cjson工具类
    > wget http://www.kyne.com.au/~mark/software/download/lua-cjson-2.1.0.tar.gz
    > tar -zvxf lua-cjson-2.1.0.tar.gz -C /usr/local/
    > cd /usr/local/lua-cjson-2.1.0/
    > vim Makefile
    > 修改PREFIX 变量为/usr/local  保存
    > make install
    > cp cjson.so /usr/local/lib/lua/5.1/
    
    
    • Lua的表类型和Cjson结合。可方便的操作redis的hash类型数据

    Lua脚本结合Redis实现抢红包场景

    • 主要是利用了Redis+lua脚本的原子性。避免出现同一个用户抢两次的情况。
    • 前提:用户发起红包时,按个数分配好金额,而不是抢的时候再分配。分配结束后存入redis的list中。
    • 基本思路:两个list1(未分配的红包),list2(分配后的红包) 和一个set。利用set里的key不能重复用来判断用户是否已抢。
    • 一个Lua脚本下实现三个操作,保证原子性。1:从set中取用户id,判断是否已抢,不存在id,进入步骤2。2:从list1中pop移除一个红包。3:往list2中push一个红包和抢到的用户id。
    • 最后业务系统来读取分配后的list2信息即可

    参考:
    http://xiaorui.cc/2016/03/27/%E8%AF%A6%E8%A7%A3python%E8%B0%83%E7%94%A8redis-lua%E5%86%85%E5%B5%8C%E8%84%9A%E6%9C%AC%E7%9A%84%E9%AB%98%E7%BA%A7%E7%94%A8%E6%B3%95/

    https://www.jianshu.com/p/bec0d7cf0b43

    https://www.jianshu.com/p/d88e7359b025

    相关文章

      网友评论

          本文标题:python redis lua 脚本 实战一个限流或抢红包等业

          本文链接:https://www.haomeiwen.com/subject/ssegtqtx.html