Titanic数据入门

从今天起，以kaggle为示例，进行数据分析的进一步学习。入门是titanic数据。

一、工作阶段

1. 问题定义：搞清楚问题是什么？
2. training 和 testing data
3. 清洗数据
4. 通过画图、比较等多种方式进一步探索数据
5. 建立模型、预测并处理问题
6. 可视化及报告
   当然这个过程不是死板的step by step执行，在清洗数据时就可能要可视化，有的步骤要执行多次。

问题定义

“Knowing from a training set of samples listing passengers who survived or did not survive the Titanic disaster, can our model determine based on a given test dataset not containing the survival information, if these passengers in the test dataset survived or not.”

分析数据的手段

• 分类：样本分类，各个类的含义及相互间的关系
• 相关性：数据特征，特征与目标间的相关性，特征间的相关性。
• 转换数据：有的模型算法需要所有的特征转换为无量纲的数值，这个时候就需要将文本信息转为数值。
• 补充：填充missing values ，缺省值处理
• 修订：发现错误数据、异常数据
• 创造：基于现有特征创建新的特征，Andrew上课讲的内存/CPU
• 画图：怎样选择图形

参考实践

# data analysis and wrangling
import pandas as pd
import numpy as np
import random as rnd

# visualization
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

# machine learning
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC, LinearSVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import Perceptron
from sklearn.linear_model import SGDClassifier
from sklearn.tree import DecisionTreeClassifi

导入数据

train_df = pd.read_csv('../input/train.csv')
test_df = pd.read_csv('../input/test.csv')
combine = [train_df, test_df]

分析数据

1、查看数据集有哪些特征

print(train_df.columns.values)

2、确定特征的类型

哪些特征是可分类的
可分类的特征：survived\sex\embarked
呈序列的特征：pclass
哪些特征是数字的
数字特征可以是：离散的、连续的和时间序列
连续的数字特征：age,fare
离散的数字特征：sibsp（子女个数）,parch（父母个数）
哪些特征是混合数字类型
字母和数字混合的类型：ticket、cabin
哪些特征包含错误
这个无法准确判断，可能的有名字，容易拼写错误
哪些特征包含空的值
cabin>age>embarked，这些可能需要填补缺失值
数字特征的分布是什么样的

• 共有891个样本
• survived：1 ，not survived:0
• 38%的样本 survived
• 75%的乘客没有和父母或子女一起旅行
• 30%的乘客有配偶或亲属
• 船费差异大，只有少于1%的人支付的费用高达512美元
• 少于1%的人年纪范围在65-80

3、可视化数据用于分析

年龄和是否得救之间的相关性
pclass与是否得救之间的相关性
不同embarked下pclass与得救的概率间的相关性

4、将一些不需要的属性直接删除

print("Before", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape)

train_df = train_df.drop(['Ticket', 'Cabin'], axis=1)
test_df = test_df.drop(['Ticket', 'Cabin'], axis=1)
combine = [train_df, test_df]

"After", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape

5、创造一些新的属性

如姓名属性中，可以提取出title的信息

6、补充缺失值