TensorFlow三大操作之数据索引与切片

【时间：2020年1月30日】从回家到现在已经有10天的时间了，在乡下，对全国整体疫情的情况无法整体把握，个人来看，周边的亲人有松懈的情况，没有将这件事放在心上。下午在家看了李安导演的电影《比利·林恩的中场战事》(Billy Lynn's Long Halftime Walk)，相信在不同的时刻，不同的人从中获得东西也不同！

我的感受是“从出生到现在，我还没找到自己生活的意义或者说某种使命感，而让我活到现在的支柱是，我希望未来的某一天，我的家人谈到我时，他们会以我为骄傲；而我经历了23年的人生和从6岁就开始接受的教育告诉我一件事：做一个聪明的人，坚持受教育，做到自律即自由”。或许在30岁以前，我会找到我人生的使命感。

1.顺序索引

• 基本索引

//ipython练习笔记
In [4]: a = tf.ones([1, 5, 5, 3])

In [5]: a
Out[5]: <tf.Tensor: id=5, shape=(1, 5, 5, 3), dtype=float32, numpy=...>

In [6]: a[0][0]
Out[6]: <tf.Tensor: id=13, shape=(5, 3), dtype=float32, numpy=
array([[1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.]], dtype=float32)>

In [7]: a[0][0][0]
Out[7]: <tf.Tensor: id=25, shape=(3,), dtype=float32, numpy=array([1., 1., 1.], dtype=float32)>

//标量
In [8]: a[0][0][0][2]
Out[8]: <tf.Tensor: id=41, shape=(), dtype=float32, numpy=1.0>

• Numpy风格索引

//ipython练习笔记
In [11]: a = tf.random.normal([4,28,28,3])

In [12]: a[1].shape
Out[12]: TensorShape([28, 28, 3])

In [13]: a[1, 2].shape
Out[13]: TensorShape([28, 3])

In [14]: a[1, 2, 3].shape
Out[14]: TensorShape([3])
//标量
In [15]: a[1, 2, 3, 2].shape
Out[15]: TensorShape([])

• 【start:end】start为起始位置，end为终止位置，不包含end

In [17]: a = tf.range(10)

In [18]: a
Out[18]: <tf.Tensor: id=81, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从idx=x到idx=y，不包含end位
In [19]: a[0:10]
Out[19]: <tf.Tensor: id=85, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [20]: a[0:9]
Out[20]: <tf.Tensor: id=89, shape=(9,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8])>

//从idx=0(最初)到某一位
In [21]: a[:10]
Out[21]: <tf.Tensor: id=93, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [24]: a[:1]
Out[24]: <tf.Tensor: id=105, shape=(1,), dtype=int32, numpy=array([0])>

//从某一位到idx=N(最后)
In [22]: a[0:]
Out[22]: <tf.Tensor: id=97, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [23]: a[9:]
Out[23]: <tf.Tensor: id=101, shape=(1,), dtype=int32, numpy=array([9])>

//倒序索引，最后一位对应的索引为“-1”，倒数第二位对应的索引为“-2”
//从倒数第二位到最后
In [25]: a[-2:]
Out[25]: <tf.Tensor: id=109, shape=(2,), dtype=int32, numpy=array([8, 9])>

//从最初到倒数第二位，不包含倒数第二位
In [26]: a[:-2]
Out[26]: <tf.Tensor: id=113, shape=(8,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7])>

//从倒数最后一位到倒数第一位，不包含倒数第一位
In [28]: a[-10:-1]
Out[28]: <tf.Tensor: id=121, shape=(9,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8])>

//从倒数最后一位到最后一位
In [30]: a[-10:10]
Out[30]: <tf.Tensor: id=129, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从倒数第一位到最后
In [31]: a[-1:]
Out[31]: <tf.Tensor: id=133, shape=(1,), dtype=int32, numpy=array([9])>

//特殊形式：【_:_】冒号前后无元素，表示取该维度的所有元素
In [36]: b = tf.random.normal([4,28,28,3])

In [37]: b.shape
Out[37]: TensorShape([4, 28, 28, 3])

In [38]: b[0].shape
Out[38]: TensorShape([28, 28, 3])

In [39]: b[0, :, :, :].shape          //等同于b[0].shape
Out[39]: TensorShape([28, 28, 3])

In [40]: b[0, 1, :, :].shape
Out[40]: TensorShape([28, 3])

In [41]: b[:, :, :, 2].shape
Out[41]: TensorShape([4, 28, 28])

In [42]: b[:, 1, :, :].shape
Out[42]: TensorShape([4, 28, 3])

+【start:end:step】start为起始位置，end为终止位置，不包含end，隔step采样

In [46]: a = tf.range(10)

In [47]: a
Out[47]: <tf.Tensor: id=177, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从起始端到终止段，隔2采样，得到偶数序列
In [50]: a[::2]
Out[50]: <tf.Tensor: id=189, shape=(5,), dtype=int32, numpy=array([0, 2, 4, 6, 8])>

In [48]: a[0::2]
Out[48]: <tf.Tensor: id=181, shape=(5,), dtype=int32, numpy=array([0, 2, 4, 6, 8])>

//从1开始，隔2采样，得到奇数序列
In [49]: a[1::2]
Out[49]: <tf.Tensor: id=185, shape=(5,), dtype=int32, numpy=array([1, 3, 5, 7, 9])>

//从起始端到终止端，隔3采样
In [51]: a[::3]
Out[51]: <tf.Tensor: id=193, shape=(4,), dtype=int32, numpy=array([0, 3, 6, 9])>

//倒序
In [52]: a[::-1]
Out[52]: <tf.Tensor: id=197, shape=(10,), dtype=int32, numpy=array([9, 8, 7, 6, 5, 4, 3, 2, 1, 0])>

//倒序，隔2采样
In [53]: a[::-2]
Out[53]: <tf.Tensor: id=201, shape=(5,), dtype=int32, numpy=array([9, 7, 5, 3, 1])>

//[A:B:STEP]中，STEP为负时，从A往起始端采样；从终止端往B采样，不包含B
In [55]: a[2::-1]
Out[55]: <tf.Tensor: id=209, shape=(3,), dtype=int32, numpy=array([2, 1, 0])>

In [54]: a[2::-2]
Out[54]: <tf.Tensor: id=205, shape=(2,), dtype=int32, numpy=array([2, 0])>

In [59]: a[:2:-1]
Out[59]: <tf.Tensor: id=225, shape=(7,), dtype=int32, numpy=array([9, 8, 7, 6, 5, 4, 3])>

+【...】省略号简写代替【:, :, :】，自动推导

In [60]: c = tf.random.normal([2, 4, 28, 28, 3])

In [61]: c[0].shape
Out[61]: TensorShape([4, 28, 28, 3])

In [62]: c[0, :, :, :, :].shape
Out[62]: TensorShape([4, 28, 28, 3])

In [63]: c[0,...].shape
Out[63]: TensorShape([4, 28, 28, 3])

In [64]: c[:, :, :, :, 0].shape
Out[64]: TensorShape([2, 4, 28, 28])

In [65]: c[..., 0].shape
Out[65]: TensorShape([2, 4, 28, 28])

In [66]: c[0, ..., 2].shape
Out[66]: TensorShape([4, 28, 28])

//如果要在中心省略，必须声明前后对应的【:】
In [67]: c[0, ..., 0, :].shape
Out[67]: TensorShape([4, 28, 3])

2.选择性索引

• tf.gather()

tf.gather(
    params,    //数据
    indices,     //索引序列
    validate_indices=None,  
    axis=None,        //数据维度
    batch_dims=0,    //
    name=None
)

In [81]: a =tf.range(5)

In [82]: a
Out[82]: <tf.Tensor: id=309, shape=(5,), dtype=int32, numpy=array([0, 1, 2, 3, 4])>

In [83]: tf.gather(a, axis=0, indices=[2, 1, 4, 0])
Out[83]: <tf.Tensor: id=312, shape=(4,), dtype=int32, numpy=array([2, 1, 4, 0])>

data:[classes, students, subjects]，如何采集各班相应序号学生的对应科目成绩？
//分两步走
a = tf.random.normal([4, 35, 8])
aa = tf.gather(a, axis, [several students]) //先选取相应学生
aaa = tf.gather(aa, axis, [several subjects]) //后选取对应科目

• tf.gather_nd()

data:[classes, students, subjects]，如何采集某不同班级中不同序号学生成绩？
【class1_student1, class2_student2, class3_student3, class4_student4】

tf.gather_nd(
    params,      //数据
    indices,      //联合索引号对应的个体，或者是联合索引号集合对应个体的集合
    batch_dims=0,
    name=None
)

In [88]: a.shape
Out[88]: TensorShape([4, 35, 8])

In [89]: tf.gather_nd(a, [0]).shape
Out[89]: TensorShape([35, 8])

In [93]: tf.gather_nd(a, [[0], [2]]).shape
Out[93]: TensorShape([2, 35, 8])

//标量
In [91]: tf.gather_nd(a, [0, 1, 2]).shape
Out[91]: TensorShape([])
//矢量
In [92]: tf.gather_nd(a, [[0, 1, 2]]).shape
Out[92]: TensorShape([1])

In [94]: tf.gather_nd(a, [[0, 1, 2], [1, 2, 1]]).shape
Out[94]: TensorShape([2])

• tf.boolean_mask()

tf.boolean_mask(
    tensor,
    mask,        //掩模，匹配其中的True元素
    axis=None,    //数据维度
    name='boolean_mask'
)

In [95]: a = tf.random.normal([4, 28, 28, 3])

In [96]: a.shape
Out[96]: TensorShape([4, 28, 28, 3])

In [97]: tf.boolean_mask(a, mask=[True, True, False, False]).shape
Out[97]: TensorShape([2, 28, 28, 3])

In [98]: tf.boolean_mask(a, mask=[True, True, False], axis = 3).shape
Out[98]: TensorShape([4, 28, 28, 2])

In [103]: tf.boolean_mask(a, mask=[[True, False, False], [False, True, True]])
Out[103]: <tf.Tensor: id=428, shape=(3, 4), dtype=float32, numpy=
array([[1., 1., 1., 1.],
       [1., 1., 1., 1.],
       [1., 1., 1., 1.]], dtype=float32)>

参考资料

• 深度学习与TensorFlow 2入门实战
• 深度学习与TensorFlow 2入门实战-源码和PPT
• TensorFlow2.0官方文档
• W3Cschool翻译的TensorFlow官方文档
  【注】TensorFlow版本未知。