前面几篇博文中,讲到了svm非线性分类的问题,今天我们就来实现一下它的代码.

问题

如下图像的分类:
primaldata_nonsvm

理论

这儿不长篇大论,一句话:低维空间线性不可分的数据转换到高维空间(甚至无穷维空间)会线性可分.这儿我们使用高斯核(RBF),也就是将二维转换到无穷维.

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
# encoding=utf8
import numpy as np
from sklearn.svm import SVC
import matplotlib.pyplot as plt
def load_data():
    """加载原始数据，以及特征数据构建和组合
    　　h=theta0*1+theta1*x+theta2*x^2+theta3*y+theta4*y^2
    Returns:
        xy:ndarray类型,(num_samples*2);被分类的点的坐标
        lable:ndarray类型,(num_samples,);被分类的点的标签
    """
    class_data=np.loadtxt('./data/nonlinear_svmdata.txt')
    # 点的xy坐标
    xy=class_data[:,1:]
    # 标签数据
    lable=class_data[:,0:1]
    lable=lable.reshape(lable.shape[0],)
    return xy,lable
def plotboundary(labels, features, model, varargin=''):
    """画出分类的数据和分类曲线
    Args:
        lables:ndarray类型,(num_samples,);被分类的点的标签(1或-1)
        features:ndarray类型,(num_samples*2);被分类的点的坐标
        model:SVC类型;训练的模型
        varargin:str类型;可选变量,控制是否显示分类正确的程度(由颜色区分),默认为空(不显示),等于't'(显示)
    """
    xplot = np.linspace(min(features[:,0]), max(features[:,0]), 100)
    yplot = np.linspace(min(features[:,1]), max(features[:,1]), 100)
    # 构建网格数据
    [X,Y]=np.meshgrid(xplot,yplot)
    vals = np.zeros(X.shape)
    for i in range(0,X.shape[1]):
        # 重构画图数据
        x=np.array([X[:,i],Y[:,i]]).T
        # 获得决策值
        decision_values=model.decision_function(x)
        vals[:,i]=decision_values
    # 判断是否显示分类正确的程度
    if(varargin=='t'):
       plt.contourf(X,Y,vals,50,linestyles=None)
    plt.contour(X,Y,vals,[0],linestyles='solid',linewidths=2,colors='black')
    # 找到不同样本的行数
    pos=np.where(labels==1)
    neg=np.where(labels==-1)
    # 按类别画分类点
    plt.plot(features[pos,0],features[pos,1],'bo')
    plt.plot(features[neg,0],features[neg,1],'ro')
    plt.show()
if __name__ == '__main__':
    # 加载数据
    X,y=load_data()
    # 创建svc对象
    clf=SVC(C=1,kernel='rbf',gamma=100)
    clf.fit(X,y)
    plotboundary(y,X,clf,'t')

代码上完了,接下来秀一下分类结果:
nonsvmresult

总结

svm告一段了,虽然我的博文一致是用svm进行分类.但是svm是可以进行回归任务的.在sklearn中就有SVR和SVC之分,台大林田轩老师也对svm的回归问题做了证明和解释.最后比较重要的是在实际应用中,svm的参数选择很重要.如果不信的话,可以改改上面代码\(\gamma\)的值