1.用pandas的to_csv()写csv文件
import os
import pandas as pd
dataframe = pd.DataFrame({'name_1':list_1,'name_2':list_2})
if os.path.exists(filepath):
dataframe.to_csv(filepath, header=0, mode='a', index=False, sep=',')
else:
dataframe.to_csv(filepath, mode='a', index=False, sep=',')
@ sep=',' 分隔符,如果不写,默认是‘,’
@ na_rep='NA' 缺失值保存为NA,如果不写,默认是空
@ float_format='%.2f'
@ columns=['name'] 保存索引列和name列
@ header=0 不保留列名
@ index=0 不保存行索引
参考:pandas系列 read_csv 与 to_csv 方法各参数详解
2.将pandas Series或index转换为Numpy数组
to_numpy()
Series.values
.array
3.字典(dict)按键(key)和值(value)排序
- 字典按键排序:
>>> dic = {'a':2, 'b':1}
>>> d = sorted(dic.items(), key = lambda k: k[0])
>>> print(d)
[('a', 2), ('b', 1)]
- 字典按值排序:
>>> dic = {'a':2, 'b':1}
>>> d = sorted(dic.items(), key = lambda k: k[1])
>>> print(d)
[('b', 1), ('a', 2)]
4.将列表中的字符串转为数字
numbers = [ int(x) for x in numbers ]
5.将列表中的日期转为字符串
# 输出时间戳对应的年月日信息
test['日期'].apply(lambda x: print(x.year, x.month, x.day))
# 将时间戳转换为字符串
myString = test['日期'].apply(lambda x: x.strftime('%Y-%m-%d'))
6.python list 和dict的查找效率比较
import time
query_lst = [-60000,-6000,-600,-60,-6,0,6,60,600,6000,60000]
lst = []
dic = {}
for i in range(100000000):
lst.append(i)
dic[i] = 1
start = time.time()
for v in query_lst:
if v in lst:
continue
end1 = time.time()
for v in query_lst:
if v in dic:
continue
end2 = time.time()
print "list search time : %f"%(end1-start)
print "dict search time : %f"%(end2-end1)
运行结果:
list search time : 11.836798
dict search time : 0.000007
list的查找效率远远低于dict的效率,原因在于:python中list对象的存储结构采用的是线性表,因此其查询复杂度为O(n),而dict对象的存储结构采用的是散列表(hash表),其在最优情况下查询复杂度为O(1)。
7.pandas对DataFrame行、列操作
-
loc()
:通过行索引中的具体值来取行数据
利用loc()
的时候,当index相同时,会将相同的Index全部提取出来。优点是:如果index是人名,数据框为所有人的数据,则可以将某个人的多条数据提取出来分析;
缺点是:如果index不具有特定意义,而且重复,那么提取的数据需要进一步处理,可用.reset_index()
函数重置index。
# 取索引为'a'的行
data.loc['a']
# 取'A'列所有行,多取几列格式为 data.loc[:,['A','B']
data.loc[:,['A']]
# 提取index为'a','b',列名为'A','B'中的数据
data.loc[['a','b'],['A','B']]
# 取所有列的所有行
data.loc[:,:]
# 提取data数据(筛选条件: A列中数字为0所在的行数据)
data.loc[data['A']==0]
data[data['A'].isin([0])]
data.loc[(data['A']==0)&(data['B']==2)] # 提取data数据(多个筛选条件)
data[(data['A'].isin([0]))&(data['B'].isin([2]))] # isin函数
# 取表中index是6的倍数的行
df.loc[::6]
-
iloc()
:通过行号来取行数据
# 取第一行数据
data.iloc[0]
# 取第0列所有行,多取几列格式为 data.iloc[:,[0,1]]
data.iloc[:,[0]]
# 提取第0、1行,第0、1列中的数据
data.iloc[[0,1],[0,1]]
# 取所有列的所有行
data.iloc[:,:]
8.Pandas中DataFrame合并、连接操作
-
concat:沿着一条轴,将多个对象堆叠到一起,相当于数据库中的全连接(union all)。可以指定连接的方式(
outer join
或inner join
),也可以指定按照某个轴进行连接。
与数据库不同的是,它不会去重,但是可以使用drop_duplicates方法
达到去重的效果。
# objs:需要连接的对象集合,一般是列表或字典;
# axis:用于指定是行还是列,axis默认是0;
# join:参数为‘outer’或‘inner’;
# join_axes=[]:指定自定义的索引;
# keys=[]:创建层次化索引;
# ignore_index=True:重建索引
pd.concat(objs=[df1,df2], axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False, copy=True)
当axis=0时,pd.concat([obj1, obj2])的效果与obj1.append(obj2)是相同的;当axis=1时,pd.concat([obj1, obj2], axis=1)的效果与pd.merge(obj1, obj2, left_index=True, right_index=True, how='outer')是相同的
-
merge:通过键拼接列
类似于关系型数据库的连接方式,可以根据一个或多个键将不同的DatFrame连接起来。
典型应用场景:针对同一个主键存在两张不同字段的表,根据主键整合到一张表里面。
# left和right:两个不同的DataFrame;
# how:连接方式,有inner、left、right、outer,默认为inner;
# on:指的是用于连接的列索引名称,必须存在于左右两个DataFrame中,如果没有指定且其他参数也没有指定,则以两个DataFrame列名交集作为连接键;
# left_on:左侧DataFrame中用于连接键的列名,这个参数左右列名不同但代表的含义相同时非常的有用;
# right_on:右侧DataFrame中用于连接键的列名;
# left_index:使用左侧DataFrame中的行索引作为连接键;
# right_index:使用右侧DataFrame中的行索引作为连接键;
# sort:默认为True,将合并的数据进行排序,设置为False可以提高性能;
# suffixes:字符串值组成的元组,用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称,默认为('_x', '_y');
# copy:默认为True,总是将数据复制到数据结构中,设置为False可以提高性能;
# indicator:显示合并数据中数据的来源情况
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True, suffixes=('_x', '_y'), copy=True, indicator=False)
- join:主要用于索引上的合并
pd.join(self, other, on=None, how='left', lsuffix='', rsuffix='',sort=False)
9.将两个array拼接起来
arr = np.hstack((arr1,arr2))
arr = np.c_[arr1 ,arr2]
10.使用RandomForestClassifier查看不同特征的重要程度
from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier(n_estimators=200, criterion='entropy', max_depth=4)
rf_clf = clf.fit(x, y)
rf_clf.feature_importances_
网友评论