逻辑回归模型可是说是机器学习中最简单的模型之一，但同时它具有极强的解释性，广泛的应用于各个领域，同时也可以作为很多分类算法的基础组件。例如使用GBDT + LR用于信用卡交易的反欺诈等。另外，在很多实际用用中，由于逻辑回归易于实现，可以作为很多问题baseline。
逻辑回归虽然名字中带有‘回归’，但是他是一个实实在在的分类算法，主要用于二分类。之所以叫回归，是因为该算法利用了Logistic函数（又称为sigmoid函数），将预测值映射到（0，1）之间的区间。函数形式为：
对应的函数图像如下：
image.png
下面我们就用sklearn中的鸢尾花数据集来实现该算法。
1. 导入数据集并进行基本的数据参看分析
from sklearn import datasets
iris = datasets.load_iris()
y = iris.target
iris_features = pd.DataFrame(data = iris.data, columns = iris.feature_names)
iris_features.head()
结果如下：
捕获.JPG
一般除了使用head以外，pandas中常用的还有describe/shape/info等进行基本数据查看。读者可以自行尝试。
2. 数据图形化展示
一图胜千言！我们经常使用可视化的方法，将数据更加形象的展示出来，便于观察数据之间的相关性，为后期的数据挖掘提供更多思路。下面使用三种图形来展示
2.1 pairplot-两两之间的相关性查看
iris_new = iris_features.copy() # 进行浅拷贝，防止原始数据修改
iris_new['target'] = y
sns.pairplot(data = iris_new, diag_kind='hist', hue = 'target')
untitled.png
通过上面这张图，我们也可以大概的知道那个特征的区分度比较好。
2.2 单个特征的箱线图
f, ax = plt.subplots(2,2, figsize = (20,10))
for i, col in enumerate(iris_features.columns):
sns.boxplot(x = 'target', y = col, saturation=0.5, palette='pastel', data = iris_new, ax = ax[i//2][i%2])
untitled1.png
可以看到和上面的pairplot又类似的效果。从上面的4张箱线图，也可以很容易的发现类别0可以很容易的和1/2区分开。但是类别1/2之间的特征值有重叠的区域，只从一个特征区分难度较大。
2.3 3D散点图
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure(figsize=(18,10))
ax = fig.add_subplot(111, projection = '3d')
iris_nww_class0 = iris_new[iris_new['target']==0].values # 将0类筛选出来
iris_nww_class1 = iris_new[iris_new['target']==1].values
iris_nww_class2 = iris_new[iris_new['target']==2].values
# 0-setosa， 1-versicolor， 2-virginica
ax.scatter(iris_nww_class0[:,0],iris_nww_class0[:,1],iris_nww_class0[:,2],label = 'setosa')
ax.scatter(iris_nww_class1[:,0],iris_nww_class1[:,1],iris_nww_class1[:,2],label = 'versicolr')
ax.scatter(iris_nww_class2[:,0],iris_nww_class2[:,1],iris_nww_class2[:,2],label = 'svirginica')
plt.legend()
效果如下：
3.png
3. 使用Logistic Regression进行分类
3.1 二分类
from sklearn.model_selection import train_test_split
# 选择其中类别为0和1的样本（不包括2），先进行二分类
iris_part = iris_features.iloc[:100]
iris_part_target = iris.target[:100]
# 分割测试集（20%）和训练集（80%）
X_train, X_test, y_train,y_test = train_test_split(iris_part, iris_part_target,
test_size = 0.2, random_state = 2020)
# 创建并训练模型
clf = LogisticRegression(random_state=0, solver='lbfgs')
clf.fit(X_train, y_train)
>>> LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
intercept_scaling=1, max_iter=100, multi_class='warn',
n_jobs=None, penalty='l2', random_state=0, solver='lbfgs',
tol=0.0001, verbose=0, warm_start=False)
查看训练后的模型参数：
# 查看对应的w
print('The weight of Logistic_Regression: ', clf.coef_)
#查看对应的w0
print( 'The intercept(w0) of Logistic_Regression: ', clf.intercept_)
>>> The weight of Logistic_Regression: [[ 0.45181973 -0.81743611 2.14470304 0.89838607]]
>>> The intercept(w0) of Logistic_Regression: [-6.53367714]
在计算模型精度
from sklearn.metrics import accuracy_score, confusion_matrix
train_predict = clf.predict(X_train)
test_predict = clf.predict(X_test)
train_res = accuracy_score(y_train, train_predict)
test_res = accuracy_score(y_test, test_predict)
print('The accuracy of Logistic_Regression on train set is : ', train_res)
print('The accuracy of Logistic_Regression on test set is : ', test_res)
>>> The accuracy of Logistic_Regression on train set is : 1.0
>>> The accuracy of Logistic_Regression on test set is : 1.0
可以看到在训练集和测试集上模型都获得了100% 的正确度。这个从之前的数据可视化中也能看到一丝端倪，因为类别0和类别1很容易区分，即区分的边界比较明显。
下面查看混淆矩阵，并用热力图进行可视化
confusion_matrix_res = confusion_matrix(test_predict, y_test)
print('The confusion matrix result: \n', confusion_matrix_res)
#利用热力图进行可视化,
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_res, annot=True, cmap='Blues')
plt.xlabel('Predict lables')
plt.ylabel('True labels')
效果如下：
捕获.JPG
至此，本次的任务结束！
网友评论