逻辑回归模型

目标：数据可视化，构建逻辑回归模型

步骤：

使用散点图表示正向/负向推特的统计
可视化线性回归模型的输出结果

导入库

跟上两篇笔记一样，首先需要导入库，包括NLTK，pandas，matplot，numpy，关于这些库都有官方文档可查：

import nltk
from os import getcwd
import pandas as pd
from nltk.corpus import twitter_samples
import matplotlib.pyplot as plt
import numpy as np

from utils import process_tweet, build_freqs

加载NLTK样本数据集

如果不知怎么那到数据集请翻看前文：

跟之前的加载步骤有所不同的是，这一次我们把数据集区分为训练集和测试集。

这是有监督学习的基本操作，更多相关概念请参考：

all_positive_tweets = twitter_samples.strings('positive_tweets.json')
all_negative_tweets = twitter_samples.strings('negative_tweets.json')

tweets = all_positive_tweets + all_negative_tweets
labels = np.append(np.ones((len(all_positive_tweets),1)), np.zeros((len(all_negative_tweets),1)), axis = 0)

train_pos = all_positive_tweets[:4000]
train_neg = all_negative_tweets[:4000]

train_x = train_pos + train_neg

print("Number of tweets: ", len(train_x))

Number of tweets:  8000

加载提取特征

本周任务的一部分是创建Logistic回归模型所需的数字特征。为了不干扰它，我们之前已经针对整个训练集计算并存储了这些功能到CSV文件中。

因此，请加载为推文示例创建的这些功能。

data = pd.read_csv('logistic_features.csv');
data.head(10)

把 data frame 转换成 numpy 数组

X = data[['bias', 'positive', 'negative']].values  # 大家可以自行测试一下如果用一个中括号会发生什么？ 使用type()函数去看不同的调用方式有助于理解
Y = data['sentiment'].values;  # 为什么要使用分号？如果不用会怎么样？

print(X.shape)
print(X)

(8000, 3)
[[  1.00000000e+00   3.02000000e+03   6.10000000e+01]
 [  1.00000000e+00   3.57300000e+03   4.44000000e+02]
 [  1.00000000e+00   3.00500000e+03   1.15000000e+02]
 ..., 
 [  1.00000000e+00   1.44000000e+02   7.83000000e+02]
 [  1.00000000e+00   2.05000000e+02   3.89000000e+03]
 [  1.00000000e+00   1.89000000e+02   3.97400000e+03]]

加载训练好的逻辑回归模型

同样的，作为这周作业的一部分，逻辑回归模型必须训练。下一个单元包含这样的训练产生的模型。注意，一个包含3个数值的列表代表整个模型，我们将其称为theta𝜃θ。

theta = [7e-08, 0.0005239, -0.00055517]

样本数据可视化

向量theta代表一个将特征空间分为两部分的平面。位于该平面上方的样本被视为正，而位于该平面下方的样本被视为负。
请记住，我们有一个3D特征空间，即每个推特都表示为一个由三个值组成的向量：[bias，positive_sum，negative_sum]，始终具有bias = 1。

如果忽略异常值，则可以使用positive_sum和negative_sum在笛卡尔平面中绘制每个tweet。
在下面的单元格中，我们正是这样做的。
此外，根据类别，我们为每个tweet上色。正面推文将为绿色，负面推文将为红色。

fig, ax = plt.subplots(figsize = (8,8))

colors = ['red', 'green']

ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1) # positive列为散点图的x轴，negative列为y轴
plt.xlabel("Positive")
plt.ylabel("Negative")

Text(0,0.5,'Negative')

如图，正向和负向的特征向量几乎完美分离。因此，可以期望此模型具有很高的准确性。

在数据旁绘制模型

画一条灰线作为正负区域的界限。灰线标记的线为 $z = \ theta * x = 0。$

要画这条线，我们必须根据一个自变量来求解上述方程式。

$z = \theta * x = 0$
$x = [1, pos, neg]$
$z(\theta, x) = \theta_0+ \theta_1 * pos + \theta_2 * neg = 0$
$neg = (-\theta_0 - \theta_1 * pos) / \theta_2$

指向相应情感方向的红线和绿线是使用与在先前方程式（负函数）中计算出的分离线垂直的线来计算的。它必须指向与Logit函数的导数相同的方向，但是幅度可能会有所不同。它仅用于模型的可视化表示。

$direction = pos * \theta_2 / \theta_1$

def neg(theta, pos):
    return (-theta[0] - pos * theta[1]) / theta[2]

def direction(theta, pos):
    return pos * theta[2] / theta[1]

图表中的绿线指向z> 0的方向，红线指向z <0的方向。这些线的方向由权重𝜃1θ1和𝜃2给出

fig, ax = plt.subplots(figsize = (8,8))

colors = ['red', 'green']

ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1)
plt.xlabel("Positive")
plt.ylabel("Negative")

maxpos = np.max(X[:,1])

offset = 5000

ax.plot([0, maxpos], [neg(theta, 0), neg(theta, maxpos)], color = 'gray')

ax.arrow(offset, neg(theta, offset), offset, direction(theta, offset), head_width=500, head_length=500, fc='g', ec='g')
ax.arrow(offset, neg(theta, offset), -offset, -direction(theta, offset), head_width=500, head_length=500, fc='r', ec='r')

plt.show()