美文网首页
pytorch中data

pytorch中data

作者: 一技破万法 | 来源:发表于2020-08-16 14:47 被阅读0次

    torch.utils.data

    class torch.utils.data.Dataset

    表示Dataset的抽象类。
    所有其他数据集都应该进行子类化。所有子类应override__len__和getitem,前者提供了数据集的大小,后者支持整数索引,范围从0到len(self)。

    class torch.utils.data.TensorDataset(data_tensor, target_tensor)

    包装数据和目标张量的数据集。
    通过沿着第一个维度索引两个张量来恢复每个样本。
    参数:
    data_tensor (Tensor) - 包含样本数据
    target_tensor (Tensor) - 包含样本目标(标签)

    class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>,pin_memory=False,drop_last=False)

    数据加载器。组合数据集和采样器,并在数据集上提供单进程或多进程迭代器。
    参数:
    dataset (Dataset) – 加载数据的数据集。
    batch_size (int, optional) – 每个batch加载多少个样本(默认: 1)。
    shuffle (bool, optional) – 设置为True时会在每个epoch重新打乱数据(默认: False).
    sampler (Sampler, optional) – 定义从数据集中提取样本的策略。如果指定,则忽略shuffle参数。
    num_workers (int, optional) – 用多少个子进程加载数据。0表示数据将在主进程中加载(默认: 0)
    collate_fn (callable, optional) –
    pin_memory (bool, optional) –
    drop_last (bool, optional) – 如果数据集大小不能被batch size整除,则设置为True后可删除最后一个不完整的batch。如果设为False并且数据集的大小不能被batch size整除,则最后一个batch将更小。(默认: False)

    class torch.utils.data.sampler.Sampler(data_source)

    所有采样器的基础类。
    每个采样器子类必须提供一个iter方法,提供一种迭代数据集元素的索引的方法,以及返回迭代器长度的len方法。

    class torch.utils.data.sampler.SequentialSampler(data_source)

    样本元素顺序排列,始终以相同的顺序。
    参数: - data_source (Dataset) – 采样的数据集。

    class torch.utils.data.sampler.RandomSampler(data_source)

    样本元素随机,没有替换。
    参数: - data_source (Dataset) – 采样的数据集。

    class torch.utils.data.sampler.SubsetRandomSampler(indices)

    样本元素从指定的索引列表中随机抽取,没有替换。
    参数: - indices (list) – 索引的列表

    class torch.utils.data.sampler.WeightedRandomSampler(weights, num_samples, replacement=True)

    样本元素来自于[0,..,len(weights)-1],给定概率(weights)。

    参数: - weights (list) – 权重列表。没必要加起来为1 - num_samples (int) – 抽样数量

    相关文章

      网友评论

          本文标题:pytorch中data

          本文链接:https://www.haomeiwen.com/subject/mtitjktx.html