0. 小结
-
重点功能是什么？
-
多维数组的基础处理
2.1 创建与查询信息
2.2 数组与标量的运算
2.3. 基本的索引与切片
2.3.1 另起array名称进行索引，不是复制
2.3.2 花式索引
3.数学和统计方法
3.1. 基本数学方法
3.1.1. 累加cumsum()
3.1.2. 累乘 cumprod()
3.2. 排序
3.3. 唯一化
1. 重点功能是什么？
（摘自用python进行数据分析）对大部分数据分析而言，我最关注的功能主要集中在：
- 用于数据整理和清洗，子集构造和过滤，转换等快速的矢量化数组运算。
- 常用的数组算算法，如排序、唯一化、集合运算等
- 高效的描述统计和数据聚合，摘要运算
- 用于异构数据集的合并，连接运算的数据对齐和关系型数据运算
- 将条件逻辑表述为数组表达式，而不是带有
if-else-elif分支的循环 - 数组的分组运算，聚合、转换，函数应用等
2. 多维数组的基础处理
2.1 创建与查询信息
- 一维数组
# Uses Python 3.6 IN
import numpy as np
data1 = [6,7.5,8,0,1]
arr1 = np.array(data1)
arr1
#OUT
array([ 6. , 7.5, 8. , 0. , 1. ])
- 二维/多维数组创建和查询
ndim 是维度，例如直角坐标是二维，空间坐标是三维
shape是形状，每一个维度的元素数量，例如二维是（行，列），三维是（x，y，z）轴长度/元素个数。
dtype 元素的数据类型
# Uses Ipython
In [1]: data2= [ [1,2,3,4] , [5,6,7,8] ]
In [2]: import numpy as np
In [3]: arr2 = np.array(data2)
In [4]: arr2
Out[4]:
array([[1, 2, 3, 4],
[5, 6, 7, 8]])
In [5]: arr2.ndim
Out[5]: 2
In [6]: arr2.shape
Out[6]: (2, 4)
In [7]: arr2.dtype
Out[7]: dtype('int32')
- 初始化数组，全0或全1，empty在不同版本定义不同（caution）
# Uses Ipython
In [13]: a = np.zeros((2,3))
In [14]: a
Out[14]:
array([[ 0., 0., 0.],
[ 0., 0., 0.]])
In [15]: b = np.ones((2,3))
In [16]: b
Out[16]:
array([[ 1., 1., 1.],
[ 1., 1., 1.]])
In [18]: c = np.empty((2,3))
In [19]: c
Out[19]:
array([[ 1., 1., 1.],
[ 1., 1., 1.]])
In [20]: c.dtype
Out[20]: dtype('float64')
In [21]: c[0,0]
Out[21]: 1.0
2.2. 数组与标量的运算
类似MATLAB的点乘，针对数组中每一个元素进行运算。加减乘除符号一样，次方是**
2.3. 基本的索引与切片
2.3.1 另起array名称进行索引，不是复制
- 索引: 注意numpy的索引不同于python的复制，numpy的索引约等于-->抽出那一块进行处理，处理结果嵌回原来的数组。 为什么要这样做呢？因为numpy主要用于处理大数据，复制会降低性能并占用大量内存。
index-1.png
- 单个元素索引，二维就是数组行列式索引（类似直角坐标）。多维类推。
坐标视图.png
In [61]: a2 = np.arange(9).reshape(3,3)
In [62]: a2
Out[62]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [63]: a2[0][2] #this is index
Out[63]: 2 #this is value (with that index)
In [64]: a2[0,2]
Out[64]: 2
- 三维的视图类似魔方，可以在空间坐标画一个长方体，想象一下切蛋糕吧。下面用二维的显示模式切一下。
切x轴.png
切x和y轴.png
切y轴.png
点的索引旧类似于空间坐标了，跟二维的写法一样。
- 切片与索引混合，可以参考我写的文章
画图，取交集。
延伸抽象出numpy的写法，每个括号里类似一维操作。例如三维数组，多维类似。
[（针对x轴的一维操作），（针对y轴的一维操作），（针对z轴的一维操作）]
注意对抽出来的切片赋值具有广播作用，就是那个切片改变数值后，会嵌回原数组 （index-1.png）
2.3.2 花式索引
花式索引和切片不一样，花式索引是将数据复制到新数组中。
3.数学和统计方法
3.1 基本数学方法
方法 描述
sum 对数组的所有或一个轴向上的元素求和。零长度的数组的和为灵。
mean 算术平均值。灵长度的数组的均值为NaN。
std, var 标准差和方差，有可选的调整自由度（默认值为n）。
min, max 最大值和最小值
argmin, argmax 索引最小和最大元素。
cumsum 从0元素开始的累计和。
cumprod 从1元素开始的累计乘。
基本都是会看会写，比较难理解的是cumsum 和 cumprod
怎么用：
cumsum 累加是通过流量得到存量，比如每天销售量的多少，得到今年的销售量总量
cumprod 累乘是通过变化率来得到存量，比如有每天的数据变动趋势，通过累乘来得到当前的数据
3.1.1. 累加cumsum()
cumsum : 累加，假设a是一个array， a.cumsum[n] = sum( a[0],a[1],a[2]...a[n])
在cumsum()函数中：生成的每一项矩阵元素均是从原矩阵首项累加到对应项的元素之和。
In [18]: a = np.ones(9).reshape(3,3)
In [19]: a
Out[19]:
array([[ 1., 1., 1.],
[ 1., 1., 1.],
[ 1., 1., 1.]])
In [20]: a.cumsum()
Out[20]: array([ 1., 2., 3., 4., 5., 6., 7., 8., 9.])
In [21]: b = np.arange(1,10).reshape(3,3)
In [22]: b
Out[22]:
array([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
In [23]: b.cumsum()
Out[23]: array([ 1, 3, 6, 10, 15, 21, 28, 36, 45], dtype=int32)
3.1.2. 累乘 cumprod()
cumprod: 累加，假设a是一个array， a.cumprod[n] = a[0] * a[1] * a[2] *... * a[n-1] * a[n]
In [36]: b
Out[36]:
array([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
In [37]: b.cumprod()
Out[37]:
array([ 1, 2, 6, 24, 120, 720, 5040, 40320,
362880], dtype=int32)
3.2 排序
- 一维排序方式和list一样。
In [38]: a = np.random.randn(8)
In [39]: a.sort()
In [40]: a
Out[40]:
array([-1.53513278, -1.32864751, -0.7085467 , -0.68014693, -0.2705321 ,
-0.19462841, 0.35890593, 1.35403955])
- 多维数组排序，需要限定某一行或列
In [44]: b
Out[44]:
array([[ 0.90767092, 0.2203271 , -0.43002859],
[ 1.53227183, -0.43238119, 0.97467112],
[-1.50116191, -0.25223084, 1.81764651]])
In [45]: b.sort(1)
In [46]: b
Out[46]:
array([[-0.43002859, 0.2203271 , 0.90767092],
[-0.43238119, 0.97467112, 1.53227183],
[-1.50116191, -0.25223084, 1.81764651]])
3.3. 唯一化
In [49]: A = [1, 2, 2, 5,3, 4, 3]
In [50]: np.unique(A)
Out[50]: array([1, 2, 3, 4, 5])
参考 ：
- 《利用python进行数据分析》
- numpy 数学和统计方法
- Numpy 基础运算2
Ipython是真的好用，我为我开始时不懂作者用心（觉得排版很难看）道歉...
2018.6.2.
网友评论