「python数据分析」(1.1) Ipython 和numpy

作者: guocx_ | 来源:发表于2018-09-01 11:08 被阅读0次

「python数据分析」(1.1) Ipython 和numpy
Numpy数据分析--读书笔记
「python数据分析」(1.2) Ipython 和numpy
Pandas
利用Python进行数据分析的笔记-1
NumPy快速入门
数据挖掘 numpy，pandas库详解
64位Win7搭建Python开发平台Python3 + Ipy
Python 数据分析学习笔记： numpy 篇
IPython基础

为什么用python进行数据分析

什么是Ipython

什么是Jupyter

Ipython

Numpy

1. 为什么用python进行数据分析

python大量的库为数据分析和处理提供了完整的工具集
比起R和Matlab等其他主要用于数据分析的编程语言，Python更全能
- Python不仅提供数据处理平台，而且还有其他语言和专业应用所没有的应用。
  可以用作脚本
  可以操作数据库
  可以开发web应用
Python库一直在增加，算法的实现采用更具创新性的方法
Python能和很多语言对接，例如高效的C语言

2. 什么是Ipython

ipython是一个性能强大的python终端
- ipython shell：功能强大的交互式shell $ ipython
- ipython notebook：集文本、代码、图像、公式的展现于一体的超级python web界面

3. 什么是Jupyter

Jupyter notebook：集文本、代码、图像、公式的展现于一体的超级python web界面

4. Ipython

熟悉掌握 Ipython魔法指令

列出所有魔法命令
lsmagic


Available line magics:
%alias  %alias_magic  %autocall  %automagic  %autosave  %bookmark  %cat  %cd  %clear  %colors  %config  %connect_info  %cp  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %qtconsole  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode

Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%js  %%latex  %%markdown  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Automagic is ON, % prefix IS NOT needed for line magics.

5. Numpy

什么是Numpy：Numeric Python
NumPy系统是Python的一种开源的数值计算扩展:
- 一个强大的N维数组对象Array
- 比较成熟的（广播）函数库
- 用于整合C/C++和Fortran代码的工具包
- 实用的线性代数、傅里叶变换和随机数生成函数
- numpy和稀疏矩阵运算包scipy配合使用更加强大
使用np.array()

#一维
import numpy as np
test = np.array([1,2,3,4,5])
test
////////////////////////////////
#多维
test = np.array([[1,2,3],[4,5,6]])
test

使用np的routines函数创建

np.ones(shape, dtype=None, order='C')
np.ones([3,3])
输出结果：
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])

np.ones([3,3],dtype=int)
输出结果：
array([[1, 1, 1],
       [1, 1, 1],
       [1, 1, 1]])

np.full(shape, fill_value, dtype=None, order='C')
np.full([3,3],3.14)
输出结果：
array([[ 3.14,  3.14,  3.14],
       [ 3.14,  3.14,  3.14],
       [ 3.14,  3.14,  3.14]])

np.eye(N, M=None, k=0, dtype=float)
np.eye(4)
输出结果：
array([[ 1.,  0.,  0.,  0.],
       [ 0.,  1.,  0.,  0.],
       [ 0.,  0.,  1.,  0.],
       [ 0.,  0.,  0.,  1.]])

np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
等差数列
np.linspace(0,10,5)
输出结果：
array([  0. ,   2.5,   5. ,   7.5,  10. ])


np.arange([start, ]stop, [step, ]dtype=None)
等差数列
np.arange(0,10,2)
输出结果：
array([0, 2, 4, 6, 8])

np.random.randint(low, high=None, size=None, dtype='l')
np.random.randint(0,10,5)
输出结果：
array([0, 7, 2, 3, 7])

np.random.randn(d0, d1, ..., dn)
np.random.randn(10)
# 每次都不一样
输出结果：
array([-1.74976547,  0.3426804 ,  1.1530358 , -0.25243604,  0.98132079,
        0.51421884,  0.22117967, -1.07004333, -0.18949583,  0.25500144])


//////////////////////////////////////////////////
np.random.seed(100)#随机的种子，有了种子，每次都一样
np.random.randn(10)

输出结果：
array([ 0.37332715, -0.2887605 ,  0.04985088, -0.93815832, -0.4087037 ,
        1.13352254,  0.52713526, -0.76014192, -0.97292788,  0.16290446])


np.random.random(size=None)
np.random.random(100)
# 每次每次都不一样
输出结果：
array([ 0.01150584,  0.52951883,  0.07689008,  0.72856545,  0.26700953,
        0.38506149,  0.56252666,  0.59974406,  0.38050248,  0.14719008,
        0.6360734 ,  0.27812695,  0.73241298,  0.10904588,  0.57071762,
        0.56808218,  0.33192772,  0.61444518,  0.07289501,  0.86464595,
        0.71140253,  0.3221285 ,  0.92556313,  0.26511829,  0.8487166 ,
        0.38634413,  0.32169243,  0.80473196,  0.92050868,  0.17325157,
        0.63503329,  0.89463233,  0.02796505,  0.04396453,  0.20603116,
        0.77663591,  0.96595455,  0.77823865,  0.90867045,  0.39274922,
        0.89526325,  0.26002297,  0.38606984,  0.69176715,  0.3170825 ,
        0.86994578,  0.35648567,  0.19945661,  0.16109699,  0.58245076,
        0.20239367,  0.7099113 ,  0.41444565,  0.16725785,  0.01170234,
        0.79989105,  0.76490449,  0.25418521,  0.55082581,  0.29550998,
        0.02919009,  0.32737646,  0.29171893,  0.67664205,  0.24447834,
        0.49631976,  0.41136961,  0.82478264,  0.76439988,  0.78829201,
        0.24360075,  0.26151563,  0.51388418,  0.19823452,  0.44097815,
        0.53198973,  0.50187154,  0.72374522,  0.11090765,  0.63469357,
        0.69199977,  0.97093079,  0.35920669,  0.86493051,  0.01984456,
        0.32219702,  0.58608421,  0.26591245,  0.51851213,  0.7896492 ,
        0.04914308,  0.28711285,  0.36225247,  0.21299697,  0.99046025,
        0.11375325,  0.70964612,  0.06599185,  0.47323442,  0.62003386])

//////////////////////////////////////////////////////////////////////////////////////////////////
np.random.random([3,3])
输出结果：
array([[ 0.37590691,  0.15563239,  0.7754904 ],
       [ 0.40353019,  0.59708594,  0.57000741],
       [ 0.33286511,  0.15678606,  0.58814922]])

ndarray的属性
ndim：维度
shape：形状（各维度的长度）
size：总长度
dtype：元素类型

np.random.seed(0)
x = np.random.randint(10,size=(3,4,5))
x

array([[[5, 0, 3, 3, 7],
        [9, 3, 5, 2, 4],
        [7, 6, 8, 8, 1],
        [6, 7, 7, 8, 1]],

       [[5, 9, 8, 9, 4],
        [3, 0, 3, 5, 0],
        [2, 3, 8, 1, 3],
        [3, 3, 7, 0, 1]],

       [[9, 9, 0, 4, 7],
        [3, 2, 7, 2, 0],
        [0, 4, 5, 5, 6],
        [8, 4, 1, 4, 9]]])

维度：x.ndim
形状，各维度的长度：x.shape
总长度：x.size
元素类型：x.dtype

ndarray的基本操作
索引

一维与列表完全一致 多维时同理
np.random.seed(1)
x = np.random.randint(10,size=[3,4,5])
print(x[2,0,0])
print(x)
输出结果为 :5
[[[5 8 9 5 0]
  [0 1 7 6 9]
  [2 4 5 2 4]
  [2 4 7 7 9]]

 [[1 7 0 6 9]
  [9 7 6 9 1]
  [0 1 8 8 3]
  [9 8 7 3 6]]

 [[5 1 9 3 4]
  [8 1 4 0 3]
  [9 2 0 4 9]
  [2 7 7 9 8]]]

切片

一维与列表完全一致 多维时同理
np.random.seed(0)
x = np.random.randint(100,size = (10,4))
x

输出结果：
array([[44, 47, 64, 67],
       [67,  9, 83, 21],
       [36, 87, 70, 88],
       [88, 12, 58, 65],
       [39, 87, 46, 88],
       [81, 37, 25, 77],
       [72,  9, 20, 80],
       [69, 79, 47, 64],
       [82, 99, 88, 49],
       [29, 19, 19, 14]])

切片：

x[7:10]
切片结果：
array([[69, 79, 47, 64],
       [82, 99, 88, 49],
       [29, 19, 19, 14]])

变形

使用reshape函数，注意参数是一个tuple！
x = np.arange(0,16).reshape(4,4)
x

执行结果：


array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15]])

类型是：
type(x.shape)

tuple

级联
np.concatenate() 级联需要注意的点：
级联的参数是列表：一定要加中括号
维度必须相同
形状相符
【重点】级联的方向默认是shape这个tuple的第一个值所代表的维度方向
可通过axis参数改变级联的方向

x = np.array([1,2,3])
y = np.array([1,5,6,7,3,20])
x
输出 array([1, 2, 3])
输出 array([ 1,  5,  6,  7,  3, 20])

z = np.concatenate([x,y])
z
输出 array([ 1,  2,  3,  1,  5,  6,  7,  3, 20])
z.shape
输出 (9,)


/////////////////////////////////////////////////////
#二维
x = np.array([[1,2,3],[4,5,6]])
x

array([[1, 2, 3],
       [4, 5, 6]])

x.shape
(2,3)

p = np.concatenate([x,x]).shape
p
(4, 3)

axis

import numpy as np
x = np.array([[[1,2,3],[2,2,3],[3,3,3]],[[4,4,4],[5,5,5],[6,6,6]]])
print(x)
print(x.shape)

输出：
[[[1 2 3]
  [2 2 3]
  [3 3 3]]

 [[4 4 4]
  [5 5 5]
  [6 6 6]]]
(2, 3, 3)

////////////////////////////////
w = np.concatenate([x,x],axis = 0)
print(w.shape)
print(w)
输出：
(4, 3, 3)
[[[1 2 3]
  [2 2 3]
  [3 3 3]]

 [[4 4 4]
  [5 5 5]
  [6 6 6]]

 [[1 2 3]
  [2 2 3]
  [3 3 3]]

 [[4 4 4]
  [5 5 5]
  [6 6 6]]]
////////////////////////////////////
w = np.concatenate([x,x],axis = 1)
print(w.shape)
print(w)
输出：
(2, 6, 3)
[[[1 2 3]
  [2 2 3]
  [3 3 3]
  [1 2 3]
  [2 2 3]
  [3 3 3]]

 [[4 4 4]
  [5 5 5]
  [6 6 6]
  [4 4 4]
  [5 5 5]
  [6 6 6]]]
/////////////////////////////////////
w = np.concatenate([x,x],axis = 2)
print(w.shape)
print(w)

输出：
(2, 3, 6)
[[[1 2 3 1 2 3]
  [2 2 3 2 2 3]
  [3 3 3 3 3 3]]

 [[4 4 4 4 4 4]
  [5 5 5 5 5 5]
  [6 6 6 6 6 6]]]

np.hstack与np.vstack 水平级联与垂直级联

x = np.array([[1,1],[2,2],[3,3]])
y = np.array([1,2,3])
print(np.hstack(x))
print(np.vstack(y))

输出：
[1 1 2 2 3 3]
[[1]
 [2]
 [3]]

切分
np.split()

x = np.arange(1,10)
x

输出：
array([1, 2, 3, 4, 5, 6, 7, 8, 9])

x1,x2,x3 = np.split(x,[3,5])
print(x1,x2,x3)
输出：
[1 2 3] [4 5] [6 7 8 9]

np.hsplit()

x = np.arange(16).reshape(4,4)
x
输出：
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15]])

np.vsplit()

x = np.arange(16).reshape(4,4)
x
输出：
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15]])

print(np.vsplit(x,[2,3]))
输出：
[array([[0, 1, 2, 3],
        [4, 5, 6, 7]]), array([[ 8,  9, 10, 11]]), array([[12, 13, 14, 15]])]

副本
所有赋值运算不会为ndarray的任何元素创建副本。
对赋值后的对象的操作也对原来的对象生效

a = np.array([1,2,3])
b=a
print(a,b)

输出：
[1 2 3] [1 2 3]

可使用copy()函数创建副本

a = np.array([1,2,3])
b = a.copy()
b
输出：
[1,2,3]

b[0]=3
print(a,b)
输出：
[1 2 3] [3 2 3]

「python数据分析」(1.1) Ipython 和numpy
为什么用python进行数据分析什么是Ipython什么是JupyterIpythonNumpy 1. 为什么用p...
Numpy数据分析--读书笔记
NumPy--Python用于数值计算的一个库 ipython--方便分析性能的shell工具 NumPy对学过概...
「python数据分析」(1.2) Ipython 和numpy
一. ndarray的聚合操作求和np.sum 最大最小值平均值：np.max/ np.min/np.mean ...
Pandas
PANDAS1.1 PANDAS介绍它是python数据分析方向的一个基石库，基于Numpy 来做数据分析（传统的...
利用Python进行数据分析的笔记-1
重要的Python库 Numpy pandas matplotlib IPython Scipy Numpy Nu...
NumPy快速入门
Python 2.7IPython 4.1.2 关于Numpy Numpy是Python的一个矩阵类型，提供大量矩...
数据挖掘 numpy，pandas库详解
python依靠numpy和pandas成为数据挖掘的首选语言，就连c++也排名其后，numpy分析数据，pand...
64位Win7搭建Python开发平台Python3 + Ipy
64位Win7搭建Python开发平台（Python3 + Ipython Notebook + Numpy + ...
Python 数据分析学习笔记： numpy 篇
Python 数据分析学习笔记：numpy篇前言数据分析的主要库是 pandas，而 numpy 是 pand...
IPython基础
摘选自《利用Python进行数据分析·第2版》第2章 Python语法基础，IPython和Jupyter Not...