朴素贝叶斯分类器

朴素贝叶斯分类器

---

分类 vs 回归

• 1. 分类模型 VS 回归模型，最根本的不同：前者是预测一个标签（类型、类别）；后者则是预测一个量。

• 2. 分类模型输出的预测值是离散值；而回归模型输出的预测值则是连续值。

• 3. 输入一个样本给模型，回归模型给出的预测结果是在某个值域（一般是实数域或其子集）上的任意值；而分类模型则是给出特定的某几个离散值之一。

• 4. 线性回归模型，是用来做回归的模型。朴素贝叶斯分类器，是用来做分类的模型。

---

贝叶斯定理

用语言解释就是：
在 B 出现的前提下 A 出现的概率，
等于 A 和 B 都出现的概率除以 B 出现的概率。
换句话说就是后验概率和先验概率的关系。

---

朴素贝叶斯分类器（Naïve Bayes Classifier）

“朴素贝叶斯”（Naïve Bayes）既可以是一种算法——朴素贝叶斯算法，
也可以是一种模型——朴素贝叶斯分类模型（分类器）。

---

不再简单地将频率当作概率

通过该特征在数据样本中的分布来计算该特征的条件概率。

---

极大似然估计 (Maximum Likelihood Estimation, MLE)

似然（Likelihood）：指某种事件发生的可能，和概率相似。
极大似然估计，就是去寻找让似然函数 L(θc,i) 的取值
达到最大的参数值的估计方法。

---

用代码实现朴素贝叶斯模型

import pandas as pd
    import numpy as np
    import time
    from sklearn.model_selection import train_test_split
    from sklearn.naive_bayes import GaussianNB

    # Importing dataset. 
    # Please refer to the 【Data】 part after the code for the data file.
    data = pd.read_csv("career_data.csv") 

    # Convert categorical variable to numeric
    data["985_cleaned"]=np.where(data["985"]=="Yes",1,0)
    data["education_cleaned"]=np.where(data["education"]=="bachlor",1,
                                      np.where(data["education"]=="master",2,
                                               np.where(data["education"]=="phd",3,4)
                                              )
                                     )
    data["skill_cleaned"]=np.where(data["skill"]=="c++",1,
                                      np.where(data["skill"]=="java",2,3
                                              )
                                     )
    data["enrolled_cleaned"]=np.where(data["enrolled"]=="Yes",1,0)

    # Split dataset in training and test datasets
    X_train, X_test = train_test_split(data, test_size=0.1, random_state=int(time.time()))

    # Instantiate the classifier
    gnb = GaussianNB()
    used_features =[
        "985_cleaned",
        "education_cleaned",
        "skill_cleaned"
    ]

    # Train classifier
    gnb.fit(
        X_train[used_features].values,
        X_train["enrolled_cleaned"]
    )
    y_pred = gnb.predict(X_test[used_features])

    # Print results
    print("Number of mislabeled points out of a total {} points : {}, performance {:05.2f}%"
          .format(
              X_test.shape[0],
              (X_test["enrolled_cleaned"] != y_pred).sum(),
              100*(1-(X_test["enrolled_cleaned"] != y_pred).sum()/X_test.shape[0])
    ))