NumPy 核心和模块

# 来源：NumPy Essentials ch4

步长

# 步长是每个维度相邻两个元素的偏移差值
import numpy as np

x = np.arange(8, dtype = np.int8)
x
# array([0, 1, 2, 3, 4, 5, 6, 7])
# x 是一维数组，步长为 1，因为 int8 占一个字节
x.strides
# (1,)
# data 属性可以观察原始数据
str(x.data)
# '\x00\x01\x02\x03\x04\x05\x06\x07'

# 将 x 转换为 2x4 的二维数组
x.shape = 2, 4 
x
'''
array([[0, 1, 2, 3], 
       [4, 5, 6, 7]], dtype=int8) 
'''
# 第二维的步长是 1，等于类型大小
# 第一维的步长是 4，等于第二位步长乘以第二维的长度
x.strides
# (4, 1)
# 原始数据还是不变
str(x.data) 
# '\x00\x01\x02\x03\x04\x05\x06\x07' 

# 转换为 1x4x2 的三位数组
x.shape = 1,4,2
# 第三维的步长是 1，等于类型大小
# 第二维的步长是 2，等于第三维步长乘以第三维的长度
# 第一维的步长是 8，等于第二维步长乘以第二维的长度
x.strides 
# (8, 2, 1)
str(x.data)
# '\x00\x01\x02\x03\x04\x05\x06\x07' 

'''
对于连续数组（flags 中为连续）：
strides[ndim - 1] = itemsize
strides[i] = strides[i + 1] * shape[i + 1]

def calc_strides(shape, itemsize):
    ndim = len(shape)
    strides = [0] * ndim
    strides[-1] = itemsize
    for i in xrange(ndim - 2, -1, -1):
        strides[i] = strides[i + 1] * shape[i + 1]
    return strides
'''

# 再来看看不连续数组
# 这里 x 是连续的，y 是不连续的
x = np.ones((10000,)) 
y = np.ones((10000 * 100, ))[::100] 
# 它们的形状一样，都是 10000 大小的一维数组
x.shape, y.shape 
# ((10000,), (10000,))
# 值也一样 
x == y 
# array([ True,  True,  True, ...,  True,  True, True], dtype=bool) 

# 查看它们的标识
x.flags 
'''
C_CONTIGUOUS : True 
F_CONTIGUOUS : True 
OWNDATA : True 
WRITEABLE : True 
ALIGNED : True 
UPDATEIFCOPY : False 

由于 x 是一维数组，所以行和列都连续
'''
y.flags 
'''
C_CONTIGUOUS : False 
F_CONTIGUOUS : False 
OWNDATA : False 
WRITEABLE : True 
ALIGNED : True 
UPDATEIFCOPY : False 

y 是由切片产生的，所以行和列都不连续
并且没有自己的数据
'''

# 它们的步长是不一样的
# 某个维度在切片时提供了步长
# 数组的步长也会乘这个数
x.strides, y.strides 
# ((8,), (800,)) 

'''
不连续数组由于不是缓存友好的
访问也较慢

%timeit x.sum() 
100000 loops, best of 3: 13.8 µs per loop 
%timeit y.sum() 
10000 loops, best of 3: 25.9 µs per loop 

结构化数组

# 结构化数组也叫作记录数组
# 它的元素是一条记录

# 要创建这种数组，我们需要使用数组来表示数据，每个元素是一个元组，表示记录
# 然后我们需要指定类型，使用数组来表示，每个元素是个二元组
# 字段用二元组表示，第一项是名称，第二项是类型
x = np.array([(1, 0.5, 'NumPy'), (10, -0.5, 'Essential')], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', 'S10')]) 

# 位置下标得到的是元组（记录）
x[0] 
# (1, 0.5, 'NumPy') 
# 还可以通过字段名称访问
# 得到的是字段值的数组
x['f2'] 
# array(['NumPy', 'Essential'], dtype='|S10') 

# 字段值的数据还是视图
# 修改它会修改原始数组
y = x['f0'] 
y 
# array([ 1, 10]) 
y[:] = y * 10 
y 
# array([ 10, 100]) 
y[:] = y + 0.5 
y 
# array([ 10, 100]) 
x 
'''
array([(10, 0.5, 'NumPy'), (100, -0.5, 'Essential')], 
    dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', 'S10')]) 
'''

# 字段的每个元素也可以是数组
z = np.ones((2,), dtype = ('3i4, (2,3)f4')) 
z 
'''
array([([1, 1, 1], [[1.0, 1.0, 1.0], [1.0, 1.0, 1.0]]), 
       ([1, 1, 1], [[1.0, 1.0, 1.0], [1.0, 1.0, 1.0]])], 
      dtype=[('f0', '<i4', (3,)), ('f1', '<f4', (2, 3))]) 
'''

# 我们也可以给字段类型重命名
x.dtype.names 
# ('f0', 'f1', 'f2') 
x.dtype.names = ('id', 'value', 'note') 
x 
''' 
array([(10, 0.5, 'NumPy'), (100, -0.5, 'Essential')], 
      dtype=[('id', '<i4'), ('value', '<f4'), ('note', 'S10')]) 
'''

# 也可以使用字典来表示类型
# names 键是名称列表，formats 键是类型列表
dict_ex = np.zeros((2,), dtype = {'names':['id', 'value'], 'formats':['i4', '2f4']}) 
dict_ex 
'''
array([(0, [0.0, 0.0]), (0, [0.0, 0.0])], 
      dtype=[('id', '<i4'), ('value', '<f4', (2,))]) 
'''

# 属性索引也支持多值
x[['id', 'note']]
'''
array([(10, 'NumPy'), (100, 'Essential')], 
      dtype=[('id', '<i4'), ('note', 'S10')]) 
'''

日期时间

# datetime64 可以使用字符串来构造
x = np.datetime64('2015-04-01') 
y = np.datetime64('2015-04') 
x.dtype, y.dtype 
# (dtype('<M8[D]'), dtype('<M8[M]'))

# 我们也可以指定最小单位
# 缺失的值会使用 1 来填充
y = np.datetime64('2015-04', 'D') 
y, y.dtype 
# (numpy.datetime64('2015-04-01'), dtype('<M8[D]')) 
# 我们可以使用 arange 来生成日期数组
x = np.arange('2015-01', '2015-04', dtype = 'datetime64[M]') 
x 
# array(['2015-01', '2015-02', '2015-03'], dtype='datetime64[M]') 

# 但是只包含日期单位时，不能指定时间单位
y = np.datetime64('2015-04-01', 's') 
# TypeError: Cannot parse "2015-04-01" as unit 's' using casting rule 'same_kind' 

# datetime64 相减会生成 timedelta64
x 
# array(['2015-01', '2015-02', '2015-03'], dtype='datetime64[M]') 
y = np.datetime64('2015-01-01') 
x - y
# array([ 0, 31, 59], dtype='timedelta64[D]') 

# 我们也可以将 datetime64 与 timedelta64 相加
# 这表示 2015 年 1 月 1 日加上 12 个月是 2016 年 1 月 1 日
np.datetime64('2015') + np.timedelta64(12, 'M') 
# numpy.datetime64('2016-01') 
# 或者 timedelta64 之间的运算
# 这表示一周是 7 天
np.timedelta64(1, 'W') / np.timedelta64(1, 'D') 
# 7.0 

x 
# array(['2015-01', '2015-02', '2015-03'], dtype='datetime64[M]') 
# tolist 将 NumPy 数组转换成 Python 列表
# 如果数组是 datetime64 类型
# 每个元素会转为原生的 datetime.data
x.tolist() 
'''
[datetime.date(2015, 1, 1), 
 datetime.date(2015, 2, 1), 
 datetime.date(2015, 3, 1)] 
'''

# datetime64 的 item 方法会返回等价的 datetime.date 对象
[element.item() for element in x]
'''
[datetime.date(2015, 1, 1), 
 datetime.date(2015, 2, 1), 
 datetime.date(2015, 3, 1)] 
'''

NumPy 文件 IO

# 首先创建记录数组
id = np.arange(1000) 
value = np.random.random(1000) 
day = np.random.random_integers(0, 365, 1000) * np.timedelta64(1,'D') 
date = np.datetime64('2014-01-01') + day 
# np.core.records.fromarrays 从字段数组创建记录数组
rec_array = np.core.records.fromarrays([id, value, date], names='id, value, date', formats='i4, f4, a10') 
rec_array[:5] 
'''
rec.array([(0, 0.07019801437854767, '2014-07-10'), 
       (1, 0.4863224923610687, '2014-12-03'), 
       (2, 0.9525277614593506, '2014-03-11'), 
       (3, 0.39706873893737793, '2014-01-02'), 
       (4, 0.8536589741706848, '2014-09-14')], 
      dtype=[('id', '<i4'), ('value', '<f4'), ('date', 'S10')]) 
'''

# savetxt 以纯文本形式保存数组
# 将格式指定为逗号分隔，所以它是 CSV
np.savetxt('./record.csv', rec_array, fmt='%i,%.4f,%s') 

# 我们需要将其读进来
# 并指定类型和分隔符
# 使用 np.loadtxt 也可以
read_array = np.genfromtxt('./record.csv', dtype='i4,f4,a10', delimiter=',', skip_header=0) 
read_array[:5] 
'''
array([(0, 0.07020000368356705, '2014-07-10'), 
       (1, 0.486299991607666, '2014-12-03'), 
       (2, 0.9524999856948853, '2014-03-11'), 
       (3, 0.3971000015735626, '2014-01-02'), 
       (4, 0.8536999821662903, '2014-09-14')], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', 'S10')]) 
'''

# 为字段重命名
read_array.dtype.names = ('id', 'value', 'date')

# 获取 value 字段是否大于 0.75
mask = read_array['value'] >= 0.75 
from numpy.lib.recfunctions import append_fields 
# append_fields 添加新的字段
# 参数依次是源数组、新字段名称、数据和类型
read_array = append_fields(read_array, 'mask', data=mask, dtypes='i1') 
read_array[:5] 
'''
masked_array(data = [(0, 0.07020000368356705, '2014-07-10', 0) 
 (1, 0.486299991607666, '2014-12-03', 0)
 
 (2, 0.9524999856948853, '2014-03-11', 1) 
 (3, 0.3971000015735626, '2014-01-02', 0) 
dtype = [('id', '<i4'), ('value', '<f4'), ('date', 'S10'), ('mask','i1')]) 
'''