美文网首页
pytorch subset & dataframe

pytorch subset & dataframe

作者: 锦绣拾年 | 来源:发表于2021-02-17 18:57 被阅读0次

记录学习pytorch中出现的一点问题:
在读代码时,发现有用subset切分数据集为训练集和测试集的情况。

subsets = random_split(dset, [train_size, val_size])
train = subset[0]
test = subset[1]

subset的性质,取数据可以用如下方式

    indices = train.indices
    x = train.dataset #这个dataset其实是train+test,而且
    y = test.dataset #这里x,y指向同一个空间,同一个地址。改变一个,另一个也会改变。
    dara = x.dataset.iloc[indices] #实际的train是通过indices取出对应的部分。

subset和dataframe都可以直接用dataloader进行load成可以训练的数据集。

同一个seed按照这种方式切分成的数据集是固定的。indices是固定一样的。

相关文章

网友评论

      本文标题:pytorch subset & dataframe

      本文链接:https://www.haomeiwen.com/subject/wpfwxltx.html