Matlab实现KNN多分类问题

天气晴 但是刮超大的风 小马的手还是一直都是冰凉的 看来我真的是体寒 哈哈哈

明天是第四次线上开会，希望小马汇报工作一切顺利！冲冲冲

---

今天总结的是使用Matlab实现KNN多分类问题

KNN算法流程描述：

1、初始化训练集和类别；

2、计算测试集样本与训练集样本的欧氏距离；

3、根据欧氏距离大小对训练集样本进行升序排序；

4、选取欧式距离最小的前K个训练样本，统计其在各类别中的频率；

5、返回频率最大的类别，即测试集样本属于该类别。  

Matlab实现代码（KNN算法封装函数 ）：

输入五个变量：训练数据集，训练数据集标签，测试数据集，测试数据集标签，KNN算法的K值

输出两个变量：测试数据集所属类别，算法的分类精度

function [class_test, Acc] = knn(trainData, sample_label, testData, test_labels, k)

%KNN k-Nearest Neighbors Algorithm.

%

%   INPUT:  trainData:       training sample Data, M1-by-N matrix.

%           sample_label:      training sample labels, M1-by-1 row vector.

%           testData:               testing sample Data, M2-by-N_test matrix.

%           test_lables:          testing sample labels,M2-by-1 row vector.

%           K:                           the k in k-Nearest Neighbors.

%

%   OUTPUT: class_test:      predicted labels, M2-by-1_test row vector.

%            Acc:                          Classification accuracy of KNN algorithm.

[M_train, N] = size(trainData);

[M_test, N] = size(testData);

%calculate the distance between testData and trainData

Dis = zeros(M_train,1);

class_test = zeros(M_test,1);

for n = 1:M_test

    for i = 1:M_train

        distance1 = 0;

        for j = 1:N 

            distance1 = (testData(n,j) - trainData(i,j)).^2 + distance1;

        end

        Dis(i,1) = distance1.^0.5;

    end

    %find the k nearest neighbor

    [~, index] = sort(Dis);

    for i = 1:k

        temp(i) = sample_label(index(i));

    end

    table = tabulate(temp);     %函数tabulate统计一个数组中各数字（元素）出现的频数、频率

    MaxCount=max(table(:,2,:));

    [row,col]=find(table==MaxCount);

    MaxValue=table(row,1);

   class_test(n) = MaxValue(1,1);   %测试集的分类标签

end

Acc = (mean(class_test == test_labels))*100; %算法的分类精度

end

---

新建脚本测试KNN算法函数：（以UCI中红酒数据集为例，178个样本，13个，3种类别）

clc;

clear;

%导入数据集

load wine_SVM;

%随机划分训练集和测试集

[train, test] = crossvalind('holdOut',wine_labels);

train_wine = wine(train,:);

train_wine_labels = wine_labels(train,:);

test_wine = wine(test,:);

test_wine_labels = wine_labels(test,:);

%代入KNN算法函数

[class_test, Acc]= knn(train_wine, train_wine_labels, test_wine, test_wine_labels, 10);

算法运行结果最终返回的是测试集红酒的分类标签，存在输出变量class_test中；算法的分类精度，存在输出变量Acc中。