一，数据至上原则
当拿到赛题，除了阅读赛制外，便是对数据字段的理解。
初步了解：这个题目的字段主要是关于化验指标，大体概括为：血液，肝脏，大腰子（肾）功能的各项指标。我们的目标是预测血糖值（第一赛季）。
数据查看：查看数据，需要看那些方面的内容，主要包括：有多少字段，每个字段的类型（数值，字符等），以及字段中缺失值占比等。
0.引入需要的依赖包
# coding:utf-8# 引入需要的包importnumpyasnpimportpandasaspd%matplotlib inlineimportmatplotlib.pyplotaspltimportseabornassnscolor = sns.color_palette()sns.set_style('darkgrid')importwarningsdefignore_warn(*args ,**kwargs):passwarnings.warn = ignore_warnfromscipyimportstatsfromscipy.statsimportnorm, skewpd.set_option('display.float_format',lambdax:'{:.3f}'.format(x))#Limiting floats output to 3 decimal points
1.查看数据
train = pd.read_csv('../data/d_train_20180102.csv',encoding='gbk')
test = pd.read_csv('../data/d_test_A_20180102.csv',encoding='gbk')
print('train shape',train.shape)
print('test shape',test.shape)
利用pandas读取数据，由于有中文，因此采用gkb编码，如果对于pandas不熟悉可以阅读十分钟入门pandas
train shape (5642, 42)
test shape (1000, 41)
训练集还有5462条数据，42列，需要我们预测的数据有1000天，41列。很清楚了，训练集中因为含有血糖，因此比测试多了一列。
# 查看特征列
print(train.columns)
我们查看一下，都有哪些列
Index(['id', '性别', '年龄', '体检日期', '*天门冬氨酸氨基转换酶', '*丙氨酸氨基转换酶', '*碱性磷酸酶',
'*r-谷氨酰基转换酶', '*总蛋白', '白蛋白', '*球蛋白', '白球比例', '甘油三酯', '总胆固醇',
'高密度脂蛋白胆固醇', '低密度脂蛋白胆固醇', '尿素', '肌酐', '尿酸', '乙肝表面抗原', '乙肝表面抗体', '乙肝e抗原',
'乙肝e抗体', '乙肝核心抗体', '白细胞计数', '红细胞计数', '血红蛋白', '红细胞压积', '红细胞平均体积',
'红细胞平均血红蛋白量', '红细胞平均血红蛋白浓度', '红细胞体积分布宽度', '血小板计数', '血小板平均体积',
'血小板体积分布宽度', '血小板比积', '中性粒细胞%', '淋巴细胞%', '单核细胞%', '嗜酸细胞%', '嗜碱细胞%',
'血糖'],
dtype='object')
嗯嗯，大概有这些列，基本不懂是干啥用的，但是即使对于列不懂，也要时刻记住，血糖 是我们需要的目标。
简单看一看数据中字段的形式
# 查看数据
print(train.head())
print(test.head())
id 性别 年龄 体检日期 *天门冬氨酸氨基转换酶 *丙氨酸氨基转换酶 *碱性磷酸酶 *r-谷氨酰基转换酶 *总蛋白 \
0 1 男 41 12/10/2017 24.960 23.100 99.590 20.230 76.880
1 2 男 41 19/10/2017 24.570 36.250 67.210 79.000 79.430
2 3 男 46 26/10/2017 20.820 15.230 63.690 38.170 86.230
3 4 女 22 25/10/2017 14.990 10.590 74.080 20.220 70.980
4 5 女 48 26/10/2017 20.070 14.780 75.790 22.720 78.050
白蛋白 ... 血小板计数 血小板平均体积 血小板体积分布宽度 血小板比积 中性粒细胞% 淋巴细胞% 单核细胞% \
0 49.600 ... 166.000 9.900 17.400 0.164 54.100 34.200 6.500
1 47.760 ... 277.000 9.200 10.300 0.260 52.000 36.700 5.800
2 48.000 ... 241.000 8.300 16.600 0.199 48.100 40.300 7.700
3 44.020 ... 252.000 10.300 10.800 0.260 41.700 46.500 6.700
4 41.830 ... 316.000 11.100 14.000 0.350 56.600 33.100 9.100
嗜酸细胞% 嗜碱细胞% 血糖
0 4.700 0.600 6.060
1 4.700 0.800 5.390
2 3.200 0.800 5.590
3 4.600 0.500 4.300
4 0.600 0.600 5.420
[5 rows x 42 columns]
嗯嗯，大概是这个样子，基本上就是每个id是一条记录，包含了基本属性和化验指标。
# 查看缺失值比例data = pd.concat([train,test],axis=0)print(data.isnull().sum()/len(data))
*r-谷氨酰基转换酶 0.212
*丙氨酸氨基转换酶 0.212
*天门冬氨酸氨基转换酶 0.212
*总蛋白 0.212
*球蛋白 0.212
*碱性磷酸酶 0.212
id 0.000
中性粒细胞% 0.003
乙肝e抗体 0.769
乙肝e抗原 0.769
乙肝核心抗体 0.769
乙肝表面抗体 0.769
乙肝表面抗原 0.769
低密度脂蛋白胆固醇 0.210
体检日期 0.000
单核细胞% 0.003
嗜碱细胞% 0.003
嗜酸细胞% 0.003
尿素 0.237
尿酸 0.237
年龄 0.000
性别 0.000
总胆固醇 0.210
淋巴细胞% 0.003
甘油三酯 0.210
白球比例 0.212
白细胞计数 0.003
白蛋白 0.212
红细胞体积分布宽度 0.003
红细胞压积 0.003
红细胞平均体积 0.003
红细胞平均血红蛋白浓度 0.003
红细胞平均血红蛋白量 0.003
红细胞计数 0.003
肌酐 0.237
血小板体积分布宽度 0.004
血小板平均体积 0.004
血小板比积 0.004
血小板计数 0.003
血糖 0.151
血红蛋白 0.003
高密度脂蛋白胆固醇 0.210
dtype: float64
可以看到，乙肝的缺失值如此庞大，那么我们拿出一个乙肝值，先看看乙肝对血糖赢下的大小吧
frompylabimportmplmpl.rcParams['font.sans-serif'] = ['FangSong']# 指定默认字体mpl.rcParams['axes.unicode_minus'] =False# 解决保存图像是负号'-'显示为方块的问题train['乙肝e抗体'] = train['乙肝e抗体'].dropna()fig ,ax = plt.subplots()ax.scatter(x = train['乙肝e抗体'],y=train['血糖'])plt.ylabel('血糖')plt.xlabel('乙肝e抗体')
貌似也看不出来啥，这里大家可以通过绘制图像，然后观察与每个特征与血
糖之间的关系,可以变换一下特征的类型，比如对于最后一张，我就是经过了平滑映射的。给搭建看一下原始的图
发现了没有，通过一些对特征的变换，可以表示为一个更具有线性关系的关系，具体平滑变化的方式很多，大家可以自行百度。我也是新人，会的不多不多。
既然都看了特征和目标血糖的关系了，不如看一看血糖的分布吧
# 血糖 is the variable we need to predict. So let's do some analysis on this variable first.sns.distplot(train['血糖'],fit=norm)(mu,sigma) = norm.fit(train['血糖'])print('\n mu = {:.2f} and sigma = {:.2f}\n'.format(mu, sigma))#Now plot the distributionplt.legend(['Normal dist. ($\mu=$ {:.2f} and $\sigma=$ {:.2f} )'.format(mu, sigma)], loc='best')plt.ylabel('Frequency')plt.title('血糖分布')fig = plt.figure()res = stats.probplot(train['血糖'], plot=plt)plt.show()
这个是以先验的高斯分布去绘制
存在了一些偏都很大的样本，其实最完美的形式是这样
为什么这样呢，因为很多机器学习方法都是在某某分的条件下去推理的，对于数据可是画的内容，大概说到这里吧，更多的内容，可以去kaggle学习，我也是边学边买。
对于数值特征，可以看看与目标的相关性
corrmat = train.corr()plt.subplots(figsize=(12,9))sns.heatmap(corrmat,vmax=0.9,square=True)
当然，我们可以把我们预测的结果和目标通过绘图看一下差距，因为评测函数所反映下只是最优化评测函数的一个值
这个只是一个例子，因为我把ID也给训练了，所以可以在训练集你和的很好，其实，在测试集很差。
这里主要想说的就是，大家可以通过感性的认识，看一下数据所反映的事情，通过绘图更加容易看到数据的分布情况。
二，说一下基本的比赛数据流程框架
1.读取数据
这个部分主要是对数据读取和初步探索，如第一部分说的内容
2.评测函数
这个部分题目不同，所以没有举例，其本质就是写出题目需要的评测方式，根据评测方式设计使评测函数极小的方法
3.线下模拟
因为天池的机制，我们每次只能验证一次结果，这是，需要构造一个和线上类似的集合，作为模拟线上成绩，通过本地算法，不停优化
好的线下的原则：同增同减就好。
网友评论