Tensorflow 2 API ：Dataset 类介绍

Official Doc

• apply: 对每个元素做变换
• as_numpy_iterator: 以 numpy 数组的形式进行 iterator
• batch ： 把数据分成几批，drop_remainder 可以决定是否丢弃最后不满一批的数据
• cache ： 第一次执行的时候数据可能是生成的，这些数据会被缓存起来， 如果再次使用的时候， 就会直接读取缓存（快）。
• cardinality ：Dataset 元素数， 可以是 tf.data.INFINITE_CARDINALITY 或者 tf.data.UNKNOWN_CARDINALITY
• concatenate : 合并2个 Dataset
• enumerate ： 类似python enumerate
• filter ： 类似 python filter
• flat_map ： 类似map， 但是会把结果拍平
• from_generator : 从Generator 创建一个 dataset
• from_tensor_slices ： 从numpy 创建 Dataset
• from_tensors ： 从 Tensor 创建 Dataset
• interleave ： 不太明白，没见用过，好像是并行的map
• list_files ： 如果Dataset 装的是文件名，用patter 过滤，并输出
• map ： 类似 python map
• options ： 返回Dataset 的参数【工具函数】
• padded_batch ： 对于每个batch 的数据，进行数据长度对齐，也可以对所有数据长度对齐。
• prefetch ： 从Dataset 取数据，可以用空间换时间。建议使用，注意examples.prefetch(2) 与 examples.batch(20).prefetch(2) 不同
• range ： 类似 python range 生成Dateset
• reduce ： 类似 python reduce， 最后生成一个元素的结果
• repeat ： 把现有元素重复 n 遍
• shard ： 把Dataset 分几个子 Dateset， 相当于除法，分布式有用
• shuffle ： 乱序（洗牌）
• skip ： 产生一个新的Dataset， 跳过前几个元素
• take ： Dataset 中取走最多 n 个元素
• unbatch ： 把batch拍平
• window ： 滑动窗口函数
• with_options ： 返回一个新的Dataset 有新Option 属性
• zip ： 类似python zip