Softmax 函数的变体

Softmax 函数的变体——Softmax 函数的负版本（Negative Softmax）。

具体来说，对于给定的输入向量 和温度参数 ，Negative Softmax 函数将计算如下：

与标准 Softmax 不同，Negative Softmax 中的每个元素都被除以了温度参数 的负数次幂。这意味着输入数字越大，指数部分越小，输出概率就会越小。

以下是一个示例：

import torch.nn.functional as F

# 创建一个大小为 (1, n) 的一行张量
x = torch.randn(1, 5)

# 定义温度参数
tau = 0.5

# 应用负 softmax 函数
probs = F.softmax(-x/tau, dim=1)

print(probs)

在上述示例中，我们首先创建了一个大小为 (1, 5) 的一行张量 x。然后，我们定义了温度参数 tau 为 0.5。接下来，我们使用 PyTorch 中的 torch.nn.functional.softmax() 函数和 - 运算符来将其转换为 Negative Softmax，即 -x/tau。最后，我们打印输出了转换后的概率分布张量 probs。

请注意，与标准 Softmax 类似，如果需要处理多个样本的情况，可以将输入张量的第一维设置为样本数量，然后在 softmax() 函数中指定 dim 参数为 1。这将对每个样本进行独立的 Negative Softmax 转换，并返回一个大小为 (batch_size, n) 的张量，其中每一行都是对应样本的概率分布。同时也可以通过调整温度参数来控制输出分布的形状。

本文由mdnice多平台发布