美文网首页
模型量化学习笔记

模型量化学习笔记

作者: leon_tly | 来源:发表于2023-03-26 10:55 被阅读0次

非对称量化

  • 偏移法
    Scale = {Rmax - Rmin \over Qmax - Qmin}
    Z = Qmax - Round({Rmax \over scale})
    Q = Round({R \over Scale} + Z)
    R = (Q - Z )* Scale
import numpy as np

# 数据截断
def clip(xq, int_max, int_min):
    return np.clip(xq, int_min, int_max)

# 计算scale, Z
def cal_scale_z(x, int_max, int_min):
    scale = (x.max() - x.min()) / (int_max - int_min)
    z     = int_max - np.round(x.max() / scale)
    return scale, z

# 量化
def quant(x, scale, z, int_max, int_min):
    xq = np.round(x / scale) + z
    xq = clip(xq, int_max, int_min).astype('int8')
    return xq

# 反量化
def dequant(xq, scale, z):
    x = ((xq - z) * scale).astype("float32")
    return x

if __name__ == "__main__":
    np.random.seed(1)
    data_float32 = np.random.randn(3).astype('float32')
    print("[float32 data] ", data_float32)

    int_max = 127
    int_min = -128

    scale , z = cal_scale_z(data_float32, int_max, int_min)
    print("[scale, z] ", scale, z)

    data_int8 = quant(data_float32, scale, z, int_max, int_min)
    print("[quant] ", data_int8)

    data_dequant_float32 = dequant(data_int8, scale, z)
    print("[dequant] ", data_dequant_float32)

    diff = data_float32 - data_dequant_float32
    print("[diff] ", diff)

相关文章

  • 量化模型学习笔记(1)

    paper:Quantization and Training of Neural Networks for Ef...

  • PyTorch模型量化- layer-wise Quantize

    Motivation 深度学习模型为什么要量化模型量化是深度学习Inference加速的关键技术之一, 一般训练之...

  • 深度学习与金融市场——风险控制

    很多深度学习模型,会通过最大回撤来评估模型的风险控制能力,其中包括很多传统量化的也是用这个指标,当然量化金融领域有...

  • python文本相似度计算

    步骤 分词、去停用词 词袋模型向量化文本 TF-IDF模型向量化文本 LSI模型向量化文本 计算相似度 理论知识 ...

  • 27.深度学习模型压缩方法-1

    目前深度学习模型压缩方法主要分为更精细化模型设计、模型裁剪、核的稀疏化、量化、低秩分解、迁移学习等方法,而这些方法...

  • Pytorch袖珍手册之十三

    第六章 Pytorch加速及优化(性能提升) 之四 模型优化--量化 Quantization 模型量化属于模型压...

  • 大模型本地化部署

    今天终于在笔记本上成功部署了清华开源的ChatGLM-6B的INT4轻量化模型,这对于我学习AI相关知识来说具有重...

  • 有色金属价格——数量化研究

    (一) 沪铜价格数量化模型 (主力连续合约价格预估模型) 量化模型 1.0一周铜价预测 1008-1012

  • 学习之学习:思维模型

    以下是我学习混沌大学成甲的《思维模型》课的学习笔记与收获(应用了新学习的五星笔记法):课程笔记:成甲:思维模型(学...

  • 模型量化

    https://www.zhihu.com/question/362455124?sort=created[htt...

网友评论

      本文标题:模型量化学习笔记

      本文链接:https://www.haomeiwen.com/subject/zujordtx.html