零、值得注意

1. Numpy库由C代码实现，比纯python代码效率高很多

2. 对于一个语句，要分清楚是就地修改原数组 or 创建一个新的数组

3. 对ndarray的切片是返回原数组相应位置的引用，shuffle(x)是直接打乱原数组。其余绝大部分都是创建一个新的数组。

一、Numpy的核心：array对象

array对象的背景

1. Numpy的核心数据结构，就叫做array数组，array对象可以是一位数组也可以是多维数组。

2.Python的List也可以实现相同的功能，但是array比List的优点在于性能好、包含数组元数据信息、大量的便捷函数。

3. Numpy成为事实上的Scipy、Pandas、Scikit-Learn、Tensorflow、PaddlePaddle等框架的“通用底层语言”
4. Numpy的array和Python的List的一个区别，是它元素必须都是同一种数据类型，比如都是数字int类型，这也是Numpy高性能的一个原因

array本身的属性

1. shape：返回一个元组，表示array的维度

2. ndim：一个数字，表示array的维度的数目

3. size：一个数字，表示array中所有数据元素的数目

4. dtype：array中元素的数据类型

创建array的方法

1. 从Python的列表List和嵌套列表创建array

2. 使用预定函数arange、ones/ones_like、zeros/zeros_like、empty/empty_like、full/full_like、eye等函数创建

3. 使用np.random模块创建生成随机数

array本身支持的大量操作和函数

1. 直接逐元素的加减乘除等算术操作

2. 更好用的面向多维的数组索引

3. sum/mean等聚合函数

4. 线性代数函数，比如求解逆矩阵、求解方程组

创建array的便捷函数

1. arange([start,] stop[, step], dtype=None)

2. np.ones(shape, dtype=None, order='C')：创建形状为shape的全1的数组。

3. np.ones_like(x, dtype=float, order='C')：按照数组x的shape创建全1的数组。

4. np.full(shape, full_value, dtype=None, order='C')：按shape创建全full_value的数组。

二、Numpy对数组按索引查询

三种索引方法：

1. 基础索引

2. 神奇索引

3. 布尔索引

基础索引

1. 对array的切片赋值会就地修改

2. 把array的切片赋给变量，变量不会创建新的array，而是原切片的引用。除非切片出来正好是一个数，那么就会新创建这个数，并让变量指向这个新创建的数。

3. 对比：把List的切片赋给变量，会以浅拷贝的方式创建新的List再赋给变量，而不是原List的引用。

4. 切片访问其实是对中括号索引方法__getitem__()传入一个slice对象

import numpy as np
x = np.zeros((3, 4))
index1 = slice(2)
index2 = slice(3)
y = x[index1, index2]
print(y)

[[0. 0. 0.]
 [0. 0. 0.]]

其中x[index1, index2]语句等于x[0:2, 0:3]语句
进一步地：x[start:end:step]语句等于x[slice(start, end, step)]语句

5. 切片索引的end超过了列表长度是不会报错的

神奇索引

1. 神奇索引选择的数据是数组的拷贝。即，对ndarray神奇索引会返回新创建的ndarray，而不是原adarray的引用。

2. 神奇索引：用整数数组进行索引。其实就是[]里可以传入ndarray对象（里面的元素是index），返回的数据格式保持

3. 对一维ndarray：x[idx]
   对二维ndarray：x[idx1, idx2]
   idx可以是二维甚至多维ndarray，idx1与idx2要格式匹配。返回的数据格式与idx一致。

4. ndarray.reshape()方法不会修改原数组，会创建一个新数组。

布尔索引

1. 布尔索引选择的数据是数组的拷贝

import numpy as np
x = np.arange(20).reshape(4, 5)
print(x)
print('-'*30)
idx = x[:, 3] > 5
print(idx)
print('-'*30)
y = x[idx]
print(y)

[[ 0  1  2  3  4]
 [ 5  6  7  8  9]
 [10 11 12 13 14]
 [15 16 17 18 19]]
------------------------------
[False  True  True  True]
------------------------------
[[ 5  6  7  8  9]
 [10 11 12 13 14]
 [15 16 17 18 19]]

3. 逻辑条件可以依据逻辑运算符做组合。
   （1）&：按位与
   （2）|：按位或
   （3）^：按位异或

三、Numpy常用random随机函数

分类

Simple random data：比较简单的分布
Permutations：排列
Distributions：比较复杂的分布
Random generator：随机数生成器

常用汇总

以下函数均在np.random模块中

1. np.random.seed([seed])：设定随机种子

2. .random([size])：[0, 1)之间的均匀分布。

3. .rand(d0, d1, ···, dn)：[0, 1)之间的均匀分布。与上面的区别在于，前者传入一个元组参数，后者传入多个正整数参数。

4. .randn(d0, d1, ···, dn)：标准正态分布。

5. .randint(low[, high, size, dtype])：离散均匀分布，取[low, high)间的整数。如果只有low，则从[0, low)中生成整数。

6. ·choice(x[, size, replace, p)：对数组x中的数依均匀分布采样。如果x是一个数字，则从range(x)中取。

7. .shuffle(x)：就地对数组x进行打散排列。如果x是多维的，则只会在第一维度打散排列。

8. .permutation(x)：不改变原数组x，创建新的对x随机打散后的数组。如果x是多维的，则只会在第一维度打散排列。如果x是个数，则从range(x)中打散。

9. .normal(loc, scale, size)：依均值loc方差scale的高斯分布采样。

10. .uniform(low, high, size)：依[low, high)间的均匀分布采样。

四、Numpy数学统计函数

常用汇总

以下函数均在np模块中

1. .sum(x)：加和

2. .prod(x)：乘积

3. .cumsum(x)：累计加和

4. .cumprod(x)：累计乘积

5. .min(x)：最小值

6. .max(x)：最大值

7. .percentile(x,percent=[])：0-100百分位数

8. .quantile(x,percent=[])：0-1分位数

9. .median(x)：中位数

10. .average(x, weights=[])：加权平均，权值参数为weights

11. .mean(x)：平均值

12. .std(x)：标准差

13. .var(x) ：方差

关于axis参数

1. 上述函数都有axis参数

2. axis=k意味着沿着第k维将数据打包成若干块，对于这些数据块执行数学统计函数。统计结果的结构与单个数据块的结构一致。

3. 例如，维度为(a, b, c)的数组，axis = 1意味着，现在有b个维度为(a, c)的数据块，对这b个数据块（相同位置的元素之间）进行数学统计，得到的结果维度为(a, c)。

4. 一般来说二维数据集x，每行表示一个样本数据，每列表示样本的一个特征。常用数据标准化如下：
   x = (x - np.mean(x, axis=0) / np.std(x, axis=0))

5. 不同形状的数组做运算时，低维数组递归复制成高维数组形状后，再做运算。

五、Numpy计算数组中满足条件的数的个数

1. x[condition].size：其中condition是关于x的布尔索引，或判断语句（它会返回关于x的布尔索引）。

六、Numpy给数组增加维度

1. 背景：很多数据计算都是二维或三维的，对于一维的数据输入为了形状匹配，经常需要升维成二维。

2. 需求：在不改变数据的情况下，添加数组维度。

3. 三种方法：都是创建新数组，不改变原数组的shape
   （1）np.newaxis：关键字，使用索引的语法给数组添加维度。
   （2）np.expand_dims(x, axis)：函数，给x在axis位置添加维度。
   （3）np.reshape(x, newshape)：函数，把x转化为新的维度。

4. np.newaxis其实就是None的别名。np.newaxis is None和np.newaxis == None的结果都是True。

x = np.arange(10).reshape(2, 5)
print(x.shape)
y = x[np.newaxis, :]
print(y.shape)

(2, 5)
(1, 2, 5)

5. np.reshape(x, newshape)中的newshape是个元组，可以在某个维度上置为-1，函数自动计算该维度上的值。

七、Numpy中数组合并操作

1. 背景：在准备数据的过程中，经常需要进行不同来源数据的合并操作。

2. 两类情况：
   （1）对已有的数据添加多行，比如添加一些样本数据进去。
   （2）对已有的数据添加多列，比如添加一些特征进去。

3. 三种方法：
   （1）np.concatenate(array_list, axis)：沿着指定axis进行数组的合并。
   （2）np.vstack或者np.row_stack(array_list)：垂直vertically，按行row wise进行数据合并。
   （3）np.hstack或者np.column_stack(array_list)：水平horizontally，按列column wise进行数据合并。