《集体智慧编程》第九单元“高阶分类”主要亮点是相亲人员的匹配判断。是有监督的分析，基于一定量的有结果的试验数据，从中获得规律实现预测。使用高阶分类：核方法与支持向量机（SVM）训练模型并对配对进行判断。
01数据集介绍
假设某网站的相亲记录如下：每一行代表一个配对试验，记录女性和男性的年龄、是否吸烟、是否有孩子、兴趣、住址，以及是否配对成功（0表示失败，1表示成功）。
单提取男女年龄一项，看看相亲市场上年龄的配对情况。散点分布如下图。
横轴为female年龄：年轻的姑娘（<25）和40岁以上男性基本配对失败；
25-40岁的女性在配对上，对象的年龄并没有那么大限制，40岁的女性和20几岁的男性成功配对数也比较多。
40-50岁的女性和25岁以下的男性配对成功的概率较低
02 数据预处理
（1）数值化
将原始数据转换为数值型，可以方便模型的使用。
是否吸烟？是否有孩子：是1；否-1，模糊或确实或不清楚的为0
兴趣爱好：显示男女相同爱好的个数
地址显示男女间地址距离
预处理后数据集变量为：女性年龄，是否吸烟，是否有孩子，男性年龄，是否吸烟，是否有孩子，相同爱好，地址距离。
[39.0, 1, -1, 43.0, -1, 1, 0, 105.66516194012885]
[23.0, -1, -1, 30.0, -1, -1, 0, 1.319127371884788]
[50.0, -1, -1, 49.0, 1, 1, 2, 106.48245828168044]
[46.0, -1, 1, 19.0, -1, -1, 0, 110.56632686422407]
（2）标准化
由于不同变量的数值范围不同，需要做标准化处理，使数据范围在同一水平，便于比较。标准化处理后，每个变量范围在0-1之间，数据集如下所示：
[0.65625, 1.0, 0.0, 0.78125, 0.0, 1.0, 0.0, 0.9556721737702848]
[0.15625, 0.0, 0.0, 0.375, 0.0, 0.0, 0.0, 0.011930642984140028]
[1.0, 0.0, 0.0, 0.96875, 1.0, 1.0, 1.0, 0.9630640838095432]
[0.875, 0.0, 1.0, 0.03125, 0.0, 0.0, 0.0, 1.0]
03 核方法
核方法kernel methods (KMs)是一类模式识别的算法，是解决非线性模式分析问题的一种有效途径。
径向基
def rbf(v1, v2, gamma=10):
dv = [v1[i] - v2[i] for i in range(len(v1))]#点与点间的差
l = veclength(dv)
return math.e ** (-gamma * l)
偏移量
转换空间以后会发生改变。
def getoffset(rows, gamma=10):
l0 = []
l1 = []
#匹配成功的都提出来放在L1中，失败的都放在L0中.
for row in rows:
if row.match == 0:
l0.append(row.data)
else:
l1.append(row.data)
#向量V1、V2偏移量计算
sum0 = sum(sum([rbf(v1, v2, gamma) for v1 in l0]) for v2 in l0)
sum1 = sum(sum([rbf(v1, v2, gamma) for v1 in l1]) for v2 in l1)
return (1.0 / (len(l1) ** 2)) * sum1 - (1.0 / (len(l0) ** 2)) * sum0
ssoffset=getoffset(scaledset)#结果为0.05915809687556309
核方法
模型建立，基于径向量和偏移量，建立决策判断模型。
#输入：point（目标判断点）， rows（数据集），offset（偏移量）
def nlclassify(point, rows, offset, gamma=10):
sum0 = 0.0
sum1 = 0.0
count0 = 0
count1 = 0
#配对成功/失败两个数据集径向基计算
for row in rows:
if row.match == 0:
sum0 += rbf(point, row.data, gamma)
count0 += 1
else:
sum1 += rbf(point, row.data, gamma)
count1 += 1
#核方法判断方程
y = (1.0 / count0) * sum0 - (1.0 / count1) * sum1 + offset
if y > 0:
return 0#配对失败
else:
return 1#配对成功
#判断[0.65625, 1.0, 0.0, 0.78125, 0.0, 1.0, 0.0, 0.9556721737702848]
nlclassify(scalef(numericalset[0].data),scaledset,ssoffset)#0；#scalef基于数据集的缩放函数
预测判断
例如有一组数据newrow=[23.0,-1,-1,30.0,-1,-1,0,1.3]。
女性23岁，不吸烟，无小孩；
男性30岁，不吸烟，无小孩；
无共同兴趣爱好，住址相距1.3
核方法判断结果为：配对成功（结果为:1）
nlclassify(scalef(newrow),scaledset,ssoffset)#1
04 SVM支持向量机
代码实现SVM很方便
from sklearn import svm
clf_linear = svm.SVC(kernel='linear').fit(inputs,answers)
clf_rbf = svm.SVC(kernel='rbf').fit(inputs,answers)
clf_sigmoid = svm.SVC(kernel='sigmoid').fit(inputs,answers)
训练号SVM模型以后，实现对未知分类的数据集预判。
a=scalef([23.0,-1,-1,30.0,-1,-1,0,1.3])
newrow=np.array([a])
clf_linear.predict(newrow)#array([0])
05 困难及问题
在对原始数据“地址”做处理计算两地间距离时，yahoo!map一直调试不出来无法获得地址的经纬度。数据集中的地址都是美国地址686 Avenue of the Americas New York NY，经过多次尝试最后使用geopy包实现。
from geopy.geocoders import Nominatim
def geocodeN(address):
gps=Nominatim()
location=gps.geocode(address)
return location.longitude,location.latitude
geocodeN("220 W 42nd St New York NY")
#(-73.987958, 40.7563095),成功了
但问题是计算每一对距离都很耗时，实际操作中我只计算了20组数据的距离，造成核方法、SVM的训练数据太少，所以以上判断并不考虑准确性。
总之，模型实现其实还好，数据预处理花了很久折腾。
网友评论