《机器学习与数据挖掘》课程笔记之判别函数
两类
1.两类
这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
d(x) = w1x1 + w2x2 + w3 = 0
其中x1、x2为坐标变量，w1、w2、w3为参数方程，则将一个不知类别的模式代入d(x)，有
若d(x) > 0，则x属于w1
若d(x) < 0，则x属于w2
此时，d(x)=0称为判别函数。
（比如X1（1，0）X2（-1，0），初值向量（1，1，1）把X1（1，0，1）X2（-1，0，1）相乘，小于0再调整，加减坐标本身）
2.多类情况
多类问题1：
两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为wi, i = 1, 2, …, M。
图例：对一个三类情况，每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
例如对属于w1的模式，应同时满足：d1(x)>0，d2(x)<0，d3(x)<0
不确定区域：若对某一模式区域，di(x)>0的条件超过一个，或全部di(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。
例：设有一个三类问题，其判别式为：d1(x)= -x1 + x2，d2(x)= x1 + x2 - 5，d3(x)= -x2 + 1则对一个模式x=(6, 5)T，判断其属于哪一类。
假若x=(3, 5)T，则d1(x) = 2>0；d2(x) = 3>0；d3(x) = -2<0分类失败。
多类问题2：
采用每对划分，即ωi/ωj两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。
图例：对一个三类情况，d12(x)=0仅能分开ω1和ω2类，不能分开ω1和ω3类。要分开M类模式，共需M(M-1)/2个判别函数。不确定区域：若所有dij(x)，找不到 ，dij(x)>0的情况。
例：设有一个三类问题，其判别函数为：d12(x)= -x1 - x2 + 5，d13(x)= -x1 + 3，d23(x)= -x1 + x2若x=(4, 3)T，则：d12(x) = -2，d13(x) = -1，d23(x) = -1有：
从而 x属于w3.
若x=(2.8, 2.5)T，则：d12(x) = -0.3，d13(x) = 0.2，d23(x) = -0.3有：
分类失败。
多类问题3：
这是没有不确定区域的ωi/ωj两分法。假若多类情况2中的dij可分解成：dij(x) = di(x) - dj(x) = (wi – wj)Tx，则dij(x)>0相当于di(x)>dj(x)， ，这时不存在不确定区域。此时，对M类情况应有M个判别函数：
即di(x)>dj(x)， ，i, j = 1,2,…,M，则 ，也可写成，若di(x)=max{dk(x), k=1,2,…,M}，则 x属于w1类。
该分类的特点是把M类情况分成M-1个两类问题。
例：设有一个三类问题的模式分类器，其判别函数为：d1(x)= -x1 + x2，d2(x)= x1 + x2 - 1，d3(x)= -x2
属于ω1类的区域应满足d1(x)>d2(x)且d1(x)>d3(x)，ω1类的判别界面为：
d12(x)= d1(x)-d2(x) = -2x1 + 1 = 0
d13(x)= d1(x)-d3(x) = -x1 + 2x2 = 0
属于ω2类的区域应满足d2(x)>d1(x)且d2(x)>d3(x)，ω2类的判别界面为：
d21(x)= d2(x)-d1(x) = 2x1 - 1 = 0，可看出d21(x)=-d12(x)
d23(x)= d2(x)-d3(x) = x1 + 2x2 - 1= 0
同理可得ω3类的判别界面为：
d31(x) = -d13(x) = x1 - 2x2 = 0
d32(x) = -d23(x) = -x1 - 2x2 + 1= 0
若有模式样本x=(1, 1)T，则：d1(x) = 0，d2(x) = 1，d3(x) = -1从而：d2(x)>d1(x)且d2(x)>d3(x)，故x属于w2类。
网友评论