数据库字段压缩方案(特定方案)总结

前言 :

• 公司的MySQL数据库因为数据不停的累积,现在有优化数据库存储的需求,而我目前能做的就是从各表在存储数据时,进行字符串的"裁剪"和JSON串的"Key压缩".

整体字段优化情况统计(拿最大的一张表进行分析) :

字段|原始值(请求返回值)|长度|预期值(数据库内的形式)|长度|处理方式|涉及api|涉及api个数|字段非空比|压缩效果(单字段前后)|压缩效果(整表)|是否已处理
-|-|-|-|-|-|-|-|
picsList|P|163|p|99|裁切|GET : v2/XXX|1|100.00%|39.26%(163-99)/163|1.54%(163-99)/(163+86+...+685)* 100%|是
certifications|c|86|c|65|裁切+JsonKey缩写|GET : v2/XXX|1|2.61%|24.42%|0.01%|否
activities|a|206|a|136|JsonKey缩写|GET : v2/XXX|1|51.06%|33.98%|0.86%|否
sku_model|s|985|s|787|JsonKey缩写|GET : v2/XXX|1|100.00%|20.10%|4.78%|否
impressions|i|175|i|111|JsonKey缩写|GET : v2/XXX|1|29.11%|36.57%|0.45%|否
descriptions|d|1845|d|1205|裁切|GET : v2/XXX|1|100.00%|34.69%|15.44%|是
parameters|pa|685|pa|552|JsonKey缩写|GET : v2/XXX|1|100.00%|19.42%|3.21%|否

总结 :

• 算是从字符串入库时存储及读取时做一些操作,利用计算换取空间的方法
• 预计解决方案为
  • 裁切 : 对字符串中固定的格式进行裁切存储,之后再在服务器响应请求时做还原(兼容格式)
  • JsonKey缩写 : 完整的驼峰式 JsonKey 如 :"jsonKey"简化为 "jK", 具体实现方式为 JsonProperty 注解使用在get 和 set方法上,需自己单元测试,参考: 此链接