美文网首页
redis使用fastjson序列化报错Integer can

redis使用fastjson序列化报错Integer can

作者: 猫尾草 | 来源:发表于2020-04-25 16:55 被阅读0次

    1. 问题

      Sprongboot工程中使用RedisTemplate来操作Redis,因为默认的序列化工具JdkSerializationRedisSerializer会导致存入Redis的数据带上\xAC\xED\x00\x05t\x00这种字符,通过客户端查看数据时很难阅读,一般建议用其他序列化方式替换掉JdkSerializationRedisSerializer。
      因为我们的工程中都是用的alibaba的fastjson,所以选择了FastJsonRedisSerializer这个序列化方式。使用中发现当存入redis中的数据为Long类型时,取出数据就会报错Integer can not be cast to Long(熟悉java的应该都知道,这是一个Integer类型强转Long类型的报错)。如果存入的是JavaBean,则会报错JSONObject cannot be cast to xxxxx

    redis配置类:

    import com.alibaba.fastjson.parser.ParserConfig;
    import com.alibaba.fastjson.support.spring.FastJsonRedisSerializer;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.context.annotation.Primary;
    import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
    import org.springframework.data.redis.core.RedisTemplate;
    import org.springframework.data.redis.serializer.RedisSerializer;
    import org.springframework.data.redis.serializer.StringRedisSerializer;
    
    import javax.annotation.Resource;
    
    @Configuration
    public class RedisConfig {
    
        @Resource
        private LettuceConnectionFactory redisConnectionFactory;
    
        static {
        // 这是为了把TestObj类加入fastjson的反序列化白名单
            ParserConfig.getGlobalInstance().addAccept("com.example.demo.config.TestObj");
        }
    
        @Bean
        public RedisTemplate initRedisTemplate() {
            RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(Object.class);
            RedisTemplate redisTemplate = new RedisTemplate();
            redisTemplate.setConnectionFactory(redisConnectionFactory);
            redisTemplate.setHashKeySerializer(new StringRedisSerializer());
            redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
            redisTemplate.setKeySerializer(new StringRedisSerializer());
            redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
            redisTemplate.afterPropertiesSet();
            return redisTemplate;
        }
    }
    

    2. 寻找问题

    2.1 可能的问题1

      换回JdkSerializationRedisSerializer的时候,并不会报错。说明是我们使用fastjson过程中出了问题。

    2.2 可能的问题2

    出错的代码是:

    ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
    Long res = valueOperation1.get("testSerialize1");
    
    ValueOperations<String, TestObj> valueOperation2 = redisTemplate.opsForValue();
    TestObj res = valueOperation2.get("testSerialize2");
    

    其中TestObj是一个自定义类。
      我们检查一下存入redis的数据的正确性,即不传入泛型,手动序列化获取数据的结果。代码修改成以下:

    ValueOperations valueOperation1 = redisTemplate.opsForValue();
    Long res = Long.parseLong(valueOperation1.get("testSerialize1").toString());
    
    ValueOperations valueOperation2 = redisTemplate.opsForValue();
    TestObj res = JSON.parseObject(valueOperation2.get("testSerialize2").toString(), TestObj.class);
    

    上面两段代码都可以正常运行,说明数据没有问题。

    2.3 可能的问题3

      怀疑是泛型没起作用。
      从get()方法开始,一步步往里面看:
    ValueOperations.get() -> DefaultValueOperations.get() -> AbstractOperations.get() -> RedisTemplate.execute()

      RedisTemplate.execute()中有这么一行:

    T result = action.doInRedis(connToExpose);
    

      继续往下看:
    AbstractOperations.this.deserializeValue() -> RedisSerializer.deserialize()

      RedisSerializer是一个接口,实现类就是我们使用的FastJsonRedisSerializer的deserialize()。
      看一下这个方法:

    public T deserialize(byte[] bytes) throws SerializationException {
        if (bytes != null && bytes.length != 0) {
            try {
                return JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());
            } catch (Exception var3) {
                throw new SerializationException("Could not deserialize: " + var3.getMessage(), var3);
            }
        } else {
            return null;
        }
    }
    

      通过debug观察T可以看到泛型顺利的传到了这里。但是JSON.parseObject里面使用的是this.type,跟泛型T无关,而是新建FastJsonRedisSerializer时传入的,我们一般都传入Object类。
      debug一下,我们发现

    JSON.parseObject(bytes, this.fastJsonConfig.getCharset(), this.type, this.fastJsonConfig.getParserConfig(), this.fastJsonConfig.getParseProcess(), JSON.DEFAULT_PARSER_FEATURE, this.fastJsonConfig.getFeatures());
    

    返回的是Integer类型而不是Object也不是Long。
      此时反序列化方法返回的是泛型T,相当于是使用强制类型转换(Long),把Integer转换成Long,这肯定是要报错Integer can not be cast to Long的。同样如果序列化JavaBean,这里返回的类型是JSONObject。

    3. 为什么直接返回Integer或者JSONObject?

      在网上看到了这篇文章,发生了同样的问题。
      文章中提到出现该问题的原因是由JSON到Object中间经过了Map,而在Map无法识别数据类型是Long,在Integer的大小范围类就转换成了Integer。修改代码验证一下:

    redisTemplate.opsForValue().set("testSerialize", Integer.MAX_VALUE+55555L);
    ValueOperations<String, Long> valueOperation1 = redisTemplate.opsForValue();
    Long res = valueOperation1.get("testSerialize");
    

    因为存的数据超出了Integer的范围,所以自动转化为Long,可以正常运行。
      我们使用的序列化与反序列化方法,当中恰好包含了Map转化这一层。
      redis中其实是没有数据类型的,都是字符串,使用时按照需要进行转换处理;另外参考json和jdk序列化的区别,序列化得到的json字符串如果不做特殊处理也是不包含类型信息的。而Map作为Java的一种集合类型,其中存储的数据是有类型的。Map存储反序列化结果的时候,并不知道是Integer还是Long,无论默认使用Integer还是Long,总有一个会出问题;同样Map并不知道Object所表示的JavaBaen的类型,直接使用了JSONObject。

    4. 怎么解决这个问题

      不用Map转换这个方法,涉及到fastjson序列胡与反序列化方法,不大现实。我们找其他方法。

    4.1 方法1

      网上的教程一般都是叫我们改用fastjson序列化的时候使用FastJsonRedisSerializer,但是实际上还有一个类GenericFastJsonRedisSerializer(jackson也是这样)。Generic的意思是一般的、通用的,我们可以看到GenericFastJsonRedisSerializer源码中序列化方法serialize,其中SerializerFeature.WriteClassName的意思就是在序列化结果中写入类型信息。

    public byte[] serialize(Object object) throws SerializationException {
        if (object == null) {
            return new byte[0];
        } else {
            try {
                return JSON.toJSONBytes(object, new SerializerFeature[]{SerializerFeature.WriteClassName});
            } catch (Exception var3) {
                throw new SerializationException("Could not serialize: " + var3.getMessage(), var3);
            }
        }
    }
    

    例如对我们上面提到的自定义类TestObj进行序列化得到的是:

    {
      "@type": "com.example.demo.config.TestObj",
      "param1": "aaa",
      "param2": 99999,
      "param3": 88888
    }
    

    4.2 方法1的缺点

      如果所有使用这些需要保留类型信息的数据都是java客户端,那么就没什么问题,如果有其他语言,这个类型信息不同语言可能不通用,尤其是JavaBean的类型信息对其它语言肯定不通用。

    4.3 方法2

      最开始提到的redis配置类的initRedisTemplate()方法修改为以下:

    public RedisTemplate<String, TestObj> initRedisTemplate() {
          RedisSerializer fastJsonJsonRedisSerializer = new FastJsonRedisSerializer(TestObj.class);
            RedisTemplate redisTemplate = new RedisTemplate();
            redisTemplate.setConnectionFactory(redisConnectionFactory);
            redisTemplate.setHashKeySerializer(new StringRedisSerializer());
            redisTemplate.setHashValueSerializer(fastJsonJsonRedisSerializer);
            redisTemplate.setKeySerializer(new StringRedisSerializer());
            redisTemplate.setValueSerializer(fastJsonJsonRedisSerializer);
            redisTemplate.afterPropertiesSet();
            return redisTemplate;
    }
    

      直接把TestObj传入到反序列化方法中,这样Map就知道是TestObj类,而不是根据Object类猜具体类型。

    4.4 方法2的缺点

      配置不通用,每个类都需要配备一个RedisConfig。没想出来怎么用泛型解决这个问题。

    4.5 没得办法的办法

      如果不是必要,不要使用Long类型;
      redis中只存储JavaBean的JSONObject对象,手动转换JavaBean和JSONObject。

    相关文章

      网友评论

          本文标题:redis使用fastjson序列化报错Integer can

          本文链接:https://www.haomeiwen.com/subject/hprjwhtx.html