python数据分析（三）

1、记录合并

是指将两个结构相同的数据框，合并成一个数据框
记录合并函数：concat([dataFrame1,dataFrame2,…])，可以合并多个数据框，返回数据框
例如data = pandas.concat([data1,data2,data3])合并数据。

数据列不同，相同的列进行合并，不同的列用空值进行填充。
data = oandas.concat([ data1[1,2], data2[0,1], data2[0,2] ])

2、字段合并

是指将同一个数据框中的不同列，进行合并，形成新的列。字段合并方法 x = x1 +x2 +…，参数说明x1是数据列1，x2是数据列2，返回Series合并后的序列，字段必须是字符型，其他类型的需要转换成字符型。
例如tel = df['band'] + df['area'] + df['num']

3、字段匹配

根据各表共有的关键字段，把各表所需的记录一一对应起来merge(x,y,left_on,right_on)，参数说明：x第一个数据框，y第二个数据框，left_on第一个数据框用于匹配的列，right_on第二个数据框用于匹配的列，返回DataFrame数据框
Pandas.merge(items,prices,left_on='id',right_on='id')只保留连接上的部分
Pandas.merge(items,prices,left_on='id',right_on='id',how = 'left')，即使连接不上，也保留左边没连上的部分
Pandas.merge(items,prices,left_on='id',right_on='id',how = 'right')，即使连接不上，也保留右边没连上的部分
Pandas.merge(items,prices,left_on='id',right_on='id',how = 'outer')，即使连接不上，也保留所有没连上的部分

4、简单计算

指通过对已有字段进行加减乘除等运算，得出新的字段
data['total'] = data.price * data.num，注意如果想将结果加入到数据框中，需要有中括号的data['total']而不能用data.total这种点的方式

5、数据标准化

是指将数据按比例缩放，使之落入到特定区间。

数据标准化的作用是消除量纲的影响，方便进行不同变量间的比较分析，通常用于综合评价分析，聚类分析，因子分析，主成分分析之前，如果各个变量存在量纲不统一的情况，就需要先进行数据标准化的处理
0-1标准化很容易做10分制，百分制的换算

0-1标准化.png
例子：data['scale'] = round( ( data.score - data.score.min() ) / ( data.score.max() - data.score.min() ),2 )

6、数据分组

根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间进行研究，以揭示其内在的联系和规律性
使用cut函数进行数据分组cut(series , bins , right = True , labels = NULL)
函数说明：
series需要分组的数据
bins分组的划分数组
right分组的时候，右边是否闭合
labels分组的自定义标签，可以不自定义
例子：
先定义一个分组区间，
bins = [ min(data.cost) - 1,20,40,60, 80,100,max(data.cost) +1 ]
定义一个标签
labels = ['20以下', '20到40', '40到60', '60到80', '80到100', '100以上']
然后进行分组
data['cut'] = pandas.cut( data.cost, bins， labels = labels )

7、时间转换

时间转换，指将字符型的时间格式数据，转换成时间型数据的过程
时间转换函数：datatime = pandas.to_datetime(datestring,format)
说明：
%Y，代表年份
%m，代表月份
%d，代表日期
%H，代表小时
%M，代表分钟
%S，代表秒
date['时间'] = pandas.to_datetime( date.注册时间, format = '%Y/%m/%d')

时间格式化，是指将时间型数据，按照指定的格式，转为字符型数据
时间格式化函数dateTimeFormat = datetime.dt.strftime(format)
data['时间格式化'] = data.时间.dt.strftime('%Y-%m-%d')

日期抽取，是指从日期格式里面，抽取出需要的部分属性
抽取语法：datetime.dt.property
property参数说明：second，秒；minute，分钟；hour，小时；day，天；month，月份；year，年；weekday，一周中第几天。
data['时间.年'] = data['时间'].dt.year
data['时间.月'] = data['时间'].dt.month
data['时间.日'] = data['时间'].dt.day

8、时间抽取

是指根据一定的条件，对时间格式数据进行抽取
根据索引进行抽取
DataFrame.ix[start: end]
DataFrame.ix[dates]
例子
data.ix[dt1:dt2]
data.ix[[dt1,dt2]]
根据时间列进行抽取
DataFrame[condition]
例子
data[(data.date>=dt1) & (data.date<=dt2)]

9、虚拟变量

虚拟变量也叫哑变量和离散型特征编码，可用来表示分类变量、非数量因素可能产生的影响
1、离散特征的取值之间有大小的意义
如尺寸（L,XL,XXL）
2、离散特征的取值之间没有大小的意义
如颜色（Red，Blue，Green）

离散特征的取值之间有大小意义的处理函数pandas.Series.map(dict)，dict是映射的字典。
先定义一个字典
educationLevelDict = { 'Post-Doc': 9, 'Doctorate': 8, 'Master\'s Degree': 7, 'Bachelor\'s Degree': 6, 'Associate\'s Degree': 5, 'Some College': 4, 'Trade School': 3, 'High School': 2, 'Grade School': 1}
然后随机化处理data['Education Level Map'] = data['Education Level'].map(''educationLevelDict)
离散特征的取值之间没有大小意义的处理函数
pandas.get_dummies(data,prefix = None,prefix_sep='_',dummy_na = False,columns = None,drop_first=False)
参数说明：
data，要处理的DataFrame
prefix，列名的前缀，在多个列有相同的离散项时候使用
prefix_sep，前缀和离散值的分隔符，默认为下划线，默认即可
dummy_na，是否把NA值，作为一个离散值进行处理，默认不处理
columns，要处理的列名，如果不知道该列，那么默认处理所有列
drop_first，是否从备选项中删掉第一个，建模的时候为避免共线性使用
例子：
dummies = pandas.get_dummies( data, columns = ['Gender'], prefix = ['Gender'], prefix_sep="_", dummy_na=False, drop_first=False)