• 贝叶斯题目要求

  贝叶斯，根据所给数据，输出是否play和天气等因素的概率关系。
  语言：python，系统，mac

  
  屏幕快照 2019-05-22 上午11.15.30.png

• 实现

  运用公式P(A/B) = P(B/A)P(B)/P(A),单独考虑outlook属性，比如hypothesis中A-play，B-Sunny代入计算即可，然后各个属性独立，则将4个属性结果相乘，同理计算A-noplay的概率，两者比较得出结论。

• 结果图

屏幕快照 2019-05-22 上午11.17.02.png

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Tue May 21 19:55:47 2019

@author: xx
"""
from functools import reduce
import pandas as pd
import pprint

class Classifier():
    data = None
    class_attr = None
    priori = {}
    cp = {}
    hypothesis = None


    def __init__(self,filename=None, class_attr=None ):
        self.data = pd.read_csv(filename, header =(0)) #列索引
        self.class_attr = class_attr                    

    '''
        概率（类）     =           它出现在列中的次数
                             __________________________________________
                                  所有类属性的计数
    '''
    def calculate_priori(self):
        class_values = list(set(self.data[self.class_attr])) #{'no', 'yes'},['no', 'yes']
        class_data =  list(self.data[self.class_attr]) #['no', 'no', 'yes', 'yes', 'yes', 'no', 'yes', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no']
        for i in class_values:                        #yes , no
            self.priori[i]  = class_data.count(i)/len(class_data)# class_data.count(i) 5,9
        print ("Priori Values: ", self.priori)      #Priori Values:  {'no': 0.35714285714285715, 'yes': 0.6428571428571429}

    '''
         
        P（结果|证据）=            P（证据的可能性）x结果的先验概率
                            ___________________________________________
                                    P（证据）
    '''
    def get_cp(self, attr, attr_type, class_value):
        data_attr = list(self.data[attr])#所有数据,每一躺分别是一个索引下的14个数据。
        class_data = list(self.data[self.class_attr])#yes,no数据,['no', 'no', 'yes', 'yes', 'yes', 'no', 'yes', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no']
        total =0
        for i in range(0, len(data_attr)):# i = 0 :14,
            if class_data[i] == class_value and data_attr[i] == attr_type: #class_value:yes,no,attr_type:输入的type
                total+=1
        #print(data_attr.count(attr_type))
        #print(total)
        return total/data_attr.count(attr_type) #此处公式为P(B|A) = P(A|B)/P(A),下面reduce处再乘以P(B)

    '''
        在这里，我们计算证据的可能性和先验的多个所有个体概率
         （结果|多重证据）= P（证据1 |结果）×P（证据2 |结果）x ... x P（证据N |结果）×P（结果）
         按比例缩放（多重证据）
    '''
    def calculate_conditional_probabilities(self, hypothesis):
        for i in self.priori:   #yes,no
            self.cp[i] = {}
            for j in hypothesis: #二重循环，第一重：最终需要比较i层循环，合适不合适的概率,第二重：4个列索引数据
                self.cp[i].update({ hypothesis[j]: self.get_cp(j, hypothesis[j], i)})#字典索引hypothesis[j]:假设情况,j:Outlook,Temp,Humidity,Windy
        print ("\n计算条件概率: \n")
        pprint.pprint(self.cp)

    def classify(self):
        print ("结果: ")
        for i in self.cp:
            print(self.cp[i].values())
            print(self.priori[i])
            print (i, " ==> ", reduce(lambda x, y: x*y, self.cp[i].values())*self.priori[i])

if __name__ == "__main__":
    c = Classifier(filename="new_dataset.csv", class_attr="Play" )
    c.calculate_priori()
    c.hypothesis = {"Outlook":'Sunny', "Temp":"Hot", "Humidity":'High' , "Windy":'t'}
    c.calculate_conditional_probabilities(c.hypothesis)
    c.classify()

• Cart题目要求

  决策树Cart算法，使用sklearn内置决策树函数。

  
  屏幕快照 2019-05-30 下午5.43.44.png

• 实现

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Wed May 29 20:11:50 2019

@author: xx
"""

# 导入库
import numpy as np  # 导入numpy库
import pandas as pd
from sklearn import tree    #导入sklearn的决策树模型（包括分类和回归两种）
import pydotplus    #画句子的依存结构树
import graphviz


#画决策树pdf图   （DataFrame）
def tree_showpdf(data,labels):
    a = data.iloc[:,:-1]    #特征矩阵
    b = data.iloc[:,-1]     #目标变量
    clf = tree.DecisionTreeClassifier() #分类决策树criterion='gini'
    clf.fit(a,b)    #训练

    dot_data = tree.export_graphviz(clf, out_file=None,
                         filled=True, rounded=True, feature_names=labels,
                         special_characters=True) 
        
    graph = pydotplus.graph_from_dot_data(dot_data)
    graph.write_pdf("tree.pdf")  #保存树图tree.pdf
    return clf
    
 
def change(data):
    names = data.columns[:-1] #前四列索引，DataFrame
    for i in names:
        col = pd.Categorical(data[i])
        data[i] = col.codes
    print(data)
        
def predict(data,clf):
    result = clf.predict([[2,0,0,0]])#手动输入待预测值
    print("预测值:",result)

    
if __name__=="__main__":
    data = pd.read_csv("new_dataset2.csv") #读取文件
    labelsp = list(data.columns.values)
    labels = labelsp[0:4]#读列索引
    change(data)        #转换非大小离散型为数值型
    clf = tree_showpdf(data,labels)  #画树图
    predict(data,clf) #预测

    

'''
dataSet = np.array(pd.read_csv("/Users/makangbo/Desktop/new_dataset2.csv")).tolist()#读所有数据
raw_data = pd.read_csv("/Users/makangbo/Desktop/new_dataset2.csv")
data = np.array(df.loc[:,:])
labelsp = list(df.columns.values)
labels = labelsp[0:4]#读列索引
'''

• 结果图

result.png

决策树，可以根据feature直接看出来属于哪一类。

.png

• Adaboost题目要求

  弱分类器为决策树，强分类器为Adaboost。

  
  屏幕快照 2019-05-30 下午5.43.53.png

• 实现

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import AdaBoostClassifier
import numpy as np  # 导入numpy库
import pandas as pd
from sklearn import tree    #导入sklearn的决策树模型（包括分类和回归两种）

#画决策树pdf图   （DataFrame）
def Adaboost(data):
    a = data.iloc[:,:-1]    #特征矩阵
    b = data.iloc[:,-1]     #目标变量
    #设定弱分类器CART
    weakClassifier=tree.DecisionTreeClassifier(max_depth=1)
    #设定Adaboost强分类器
    clf = AdaBoostClassifier(base_estimator=weakClassifier,algorithm='SAMME',n_estimators=1,learning_rate=0.9)
    clf.fit(a,b)
    print("评分:",clf.score(a,b))
    return clf
 
def change(data):
    names = data.columns[:-1] #前四列索引，DataFrame
    for i in names:
        col = pd.Categorical(data[i])
        data[i] = col.codes
    print(data)
        
def Predict(data,clf):
    result = clf.predict([[0,1,1]])#手动输入待预测值
    print("预测值:",result)

    
if __name__=="__main__":
    data = pd.read_csv("new_dataset3.csv") #读取文件
    labelsp = list(data.columns.values)
    labels = labelsp[0:4]#读列索引
    change(data)        #转换非大小离散型为数值型
    clf = Adaboost(data)  #Adaboost
    Predict(data,clf) #预测

• 结果图

result1.png