美文网首页深度学习
pytorch tensor 变换

pytorch tensor 变换

作者: zidea | 来源:发表于2020-06-29 21:22 被阅读0次
    pytorch_bannar.png
    import numpy as np
    import torch
    

    甜点

    在学习神经网时,我们总是喜欢将时间花在如何通过用代码实现模型上,而往往对 tensor 在网络每一层的变化似乎不那么在意,可能觉得观察 tensor 形状比较简单和枯燥。

    pytorch 改变 tensor 形状的 Api

    • view/reshape 改变形状
    • Squeeze/unsqueeze 增加维度/删减维度
    • transpose/permute 变换维度
    • Expand/repeat 维度扩展

    高维 tensor

    对于高纬 tensor,我们主要理解好后 2 个维度,可以理解为平面,3 维表示立体形状,随着维度增加我们就可以将每一个维度理解为容器或者盒子,更高维可以理解为装着低纬的容器或盒子。

    改变形状

    在 numpy 中使用 reshape 对 tensor 的形状进行改变,而在 pytorch 我们可以用 view 和 reshape 方法对 tensor 形状进行改变,他们除了名字不同,其他并没有什么区别,所以这里就以 view 为例来说一说如何改变 tensor 形状。(4 \times 1 \times 28 \times 28)如果大家写过几个图片分类简单网络,这个形状 tensor 应该不会陌生,表示 4 张 1 个通道高度和宽度分别为 28 的图片。如果我们要用全连接网络进行识别,需要将高度和宽度拉平再输入到全连接神经网。这是就会用 view ,通过调用 tensor 的 view 然后传入要转换的形状的即可。

    a = torch.rand(4,1,28,28)
    
    a.view(4,28*28)
    
    tensor([[0.6980, 0.3745, 0.9242,  ..., 0.0148, 0.1390, 0.5306],
            [0.5350, 0.2231, 0.6127,  ..., 0.3930, 0.1939, 0.8876],
            [0.3861, 0.1119, 0.3781,  ..., 0.1558, 0.6248, 0.4389],
            [0.3650, 0.8685, 0.7593,  ..., 0.9291, 0.0493, 0.5362]])
    
    # 总的维度数是不变的
    a.view(4,28*28).shape
    
    torch.Size([4, 784])
    
    a.view(4*28,28)
    
    tensor([[0.6980, 0.3745, 0.9242,  ..., 0.8922, 0.5229, 0.4496],
            [0.0137, 0.8016, 0.1643,  ..., 0.1254, 0.4681, 0.6502],
            [0.4278, 0.9356, 0.3542,  ..., 0.5995, 0.4755, 0.6840],
            ...,
            [0.9431, 0.3490, 0.0361,  ..., 0.5326, 0.4426, 0.3506],
            [0.6691, 0.0943, 0.7266,  ..., 0.6576, 0.3677, 0.4801],
            [0.2223, 0.3585, 0.4722,  ..., 0.9291, 0.0493, 0.5362]])
    
    a.view(4*28,28).shape
    
    torch.Size([112, 28])
    
    b = a.view(4,784)
    
    b.shape
    
    torch.Size([4, 784])
    
    b.view(4,28,28,1).shape
    
    torch.Size([4, 28, 28, 1])
    
    # 值得注意得是 view 将通道从 1 位置变为 3 位置
    a.shape
    
    torch.Size([4, 1, 28, 28])
    

    增加和删除维度

    squeeze 和 unsqueeze 分别是对 tensor 进行删除维度和增加维度。

    Pos.Idx 0 1 2 3
    Neg.Idx -4 -3 -2 -1

    在 Pos.Idx(正向)指定维度前插入一个维度,在 Neg.Idx(负向)指定维度之后插入维度

    # 在 0 前插入维度,那么 (4,1,28,28) 0 维前添加 (1,4,1,28,28)
    a.unsqueeze(0).shape
    
    torch.Size([1, 4, 1, 28, 28])
    
    # 在 -1(3) 后插入维度,那么 (4,1,28,28) 0 维前添加 (4,1,28,28,1)
    a.unsqueeze(-1).shape
    
    torch.Size([4, 1, 28, 28, 1])
    
    # 在 -4(0) 后插入维度,那么 (4,1,28,28) 0 维前添加 (4,1,1,28,28)
    a.unsqueeze(-4).shape
    
    torch.Size([4, 1, 1, 28, 28])
    
    # 在 -5  后插入维度就相当在 0 维度前添加维度,那么 (4,1,28,28) 0 维前添加 (1,4,1,28,28)
    a.unsqueeze(-5).shape
    
    torch.Size([1, 4, 1, 28, 28])
    
    a = torch.tensor([1.2,2.2])
    a
    
    tensor([1.2000, 2.2000])
    
    
    a.unsqueeze(-1)
    
    tensor([[1.2000],
            [2.2000]])
    
    a.unsqueeze(0)
    
    tensor([[1.2000, 2.2000]])
    
    # 是列
    b = torch.rand(32)
    f = torch.rand(4,32,14,14)
    b = b.unsqueeze(1).unsqueeze(2).unsqueeze(0)
    b.shape
    
    torch.Size([1, 32, 1, 1])
    
    b.squeeze().shape
    
    torch.Size([32])
    
    b.squeeze(0).shape
    
    torch.Size([32, 1, 1])
    
    b.squeeze(-1).shape
    
    torch.Size([1, 32, 1])
    
    # 没有报错
    b.squeeze(1).shape
    
    torch.Size([1, 32, 1, 1])
    
    b.squeeze(-4).shape
    
    torch.Size([32, 1, 1])
    

    维度扩展

    Expand 返回当前 tensor 在某维扩展更大后的 tensor expand不会分配新的内存,只是在存在的 tensor 上创建一个新的视图 view.
    Repeat: 沿着特定的维度重复这个 tensor ,和 expand()不同的是,这个函数拷贝 tensor 的数据。

    a = torch.rand(4,32,14,14)
    
    b.shape
    
    torch.Size([1, 32, 1, 1])
    
    # 将原有维度进行扩展
    b.expand(4,32,14,14).shape
    
    torch.Size([4, 32, 14, 14])
    
    # -1 表示在该维度上并不改变形状
    b.expand(-1,32,-1,-1).shape
    
    torch.Size([1, 32, 1, 1])
    
    b.expand(-1,32,-1,-4).shape
    
    torch.Size([1, 32, 1, -4])
    
    # 对 0 和 1 维进行扩展维 
    b.repeat(4,32,1,1).shape
    
    torch.Size([4, 1024, 1, 1])
    
    b.repeat(4,1,1,1).shape
    
    torch.Size([4, 32, 1, 1])
    
    b.repeat(4,1,32,32).shape
    
    torch.Size([4, 32, 32, 32])
    

    tensor 转置

    转置只能适用于 2 维 tensor,通过交换行列来实现 tensor 维度变换。

    a = torch.randn(2,3)
    
    a.t().shape
    
    torch.Size([3, 2])
    
    # 交换的操作 [bcHW] 交换后变为 [bWHc]
    a = torch.rand(4,3,32,32)
    
    # transpose 操作交换了 1 轴和 3 轴 view 操作就是改变 a 的形状(reshape), 
    # [b,c,W,H],
    # 原来存储数据顺序结构也改变了
    a1 = a.transpose(1,3).view(4,3*32*32).view(4,3,32,32)
    
    ---------------------------------------------------------------------------
    
    RuntimeError                              Traceback (most recent call last)
    
    <ipython-input-60-262e84a7fdcb> in <module>
    ----> 1 a1 = a.transpose(1,3).view(4,3*32*32).view(4,3,32,32)
    
    
    RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
    
    a1 = a.transpose(1,3).contiguous().view(4,3*32*32).view(4,3,32,32)
    
    a2 = a.transpose(1,3).contiguous().view(4,3*32*32).view(4,32,32,3).transpose(1,3)
    
    torch.all(torch.eq(a,a1))
    
    tensor(False)
    
    torch.all(torch.eq(a,a2))
    
    tensor(True)
    
    # 创建表示图片
    a = torch.rand(4,3,28,28)
    
    # 对 tensor 1 和 3 轴进行交换
    a.transpose(1,3).shape
    
    torch.Size([4, 28, 28, 3])
    
    b = torch.rand(4,3,28,32)
    
    b.transpose(1,3).shape
    
    torch.Size([4, 32, 28, 3])
    
    b.transpose(1,3).transpose(1,2).shape
    
    torch.Size([4, 28, 32, 3])
    
    # permut
    # [b c H W] 变为 [b H W c] [0 1 2 3] 变为 [0 2 3 1]
    b.permute(0,2,3,1).shape
    
    torch.Size([4, 28, 32, 3])
    

    相关文章

      网友评论

        本文标题:pytorch tensor 变换

        本文链接:https://www.haomeiwen.com/subject/ttoafktx.html