支持向量机(核函数的定义)

根据机器学习相关介绍(10)——支持向量机(低维到高维的映射),支持向量机可通过引入φ(x)函数,将低维线性不可分问题转换为高维线性可分问题。转换后支持向量机的优化问题可改写为:
最小化:1/2||ω||2+c∑δi或1/2||ω||2+c∑δi2,
限制条件:(1)δi≥0,i=1~n;(2)yi(ωtφ(xi)+b)≥1-δi,i=1~n。
欲求解上述优化问题,需先知道φ(x)的形式。
但支持向量机的创始人vladimir vapnik提出结论:完成测试样本的类别预测不必须知道φ(x)的具体形式,如果对任意两个向量x1、x2已知:
k(x1,x2)=φ(x1)tφ(x2)
则仍可以完成测试样本的类别预测(具体如何完成在下篇文章中叙述)。
上式中k(x1,x2)被定义为核函数(kernel function),核函数是一个实数(上式中φ(x1)tφ(x2)为两个维度相同的行向量和列向量相乘的形式,其结果为一个实数)。
上述结论成立的一个必要条件是核函数k与低维到高维映射φ(x)具有一一对应的关系,即只有核函数k与映射φ(x)一一对应关系,核函数k才能代替φ(x)完成测试样本的类别预测。
一般情况下,核函数k与映射φ(x)具有一一对应关系,下文以两个案例说明核函数k与映射φ(x)的一一对应关系。
案例一:
假设:φ(x)是一个将二维向量映射为三维向量的映射,其中,二维向量x=[x1,x2]t,映射φ(x)=φ([x1,x2]t)=[x12,x1x2,x22];
再假设:x1=[x11,x12]t,x2=[x21,x22]t;
则φ(x1)=[x112,x11x12,x122],φ(x2)=[x212,x21x22,x222];
若核函数k(x1,x2)=φ(x1)tφ(x2),则k(x1,x2)=[x112,x11x12,x122][x212,x21x22,x222]t=x112x212+x11x12x21x22+x122x222。
案例二:
假设:k(x1,x2)
=(x11x21+x12x22+1)2
=x112x212+x122x222+2x11x12x21x22+2x11x21+2x12x22
=φ(x1)tφ(x2);
再假设:x=[x1,x2]t;
则φ(x)=φ([x1,x2]t)=[x12,x22,1,√2x1x2,√2x1,√2x2]t(该式中√代表根号,该式推导过程暂不知,若将x1=[x11,x12]t,x2=[x21,x22]t代入该式,再通过φ(x1)tφ(x2)=k(x1,x2),可反推导出案例二中的核函数),φ(x)中各维度值可相互交换顺序。
但当核函数不能转化为两个φ(x)内积形式时,核函数与映射φ(x)不具有一一对应关系。因此,核函数需可以转化为两个φ(x)内积形式。
k(x1,x2)可转化为φ(x1)tφ(x2)(即可转化为两个φ(x)内积形式)的充要条件:
(1)k(x1,x2)=k(x2,x1)(即核函数具有交换性)
(2)对于任意的ci(i=1~n)和任意的n,有:
即核函数k具有半正定性。


荣耀70系列全能升级,美学、性能、体验拉满
种子风选净度仪的作用是什么,它的功能有哪些
VR是如何改变我们工作方式的
酷冷至尊MWEGOLD550体验 静音表现非常出色
OSP的制造工艺及涂有OSP的PCB的存储要求
支持向量机(核函数的定义)
U54内核PLIC中断处理例子
探讨新华社推出全球首个5G沉浸式多地跨屏访谈中所运用的技术
LED在远程控制照明中的应用
随着补贴政策的退坡 新能源车企的盈利能力或将进一步降低
plc内部计数器编程的例子解析
河北联通已率先完成了携号转网业务测试和计费验证
小米45W USB PD移动电源3拆解,型号PLM07ZM,采用杰华特JW3651四开关升降压转化器
蓝牙运动耳机哪款好?最佳蓝牙运动耳机分享
46亿欧元!AMS收购欧司朗超一半股份
pcb铜箔厚度和电流关系
传感器精度怎么计算 影响测量精度的因素有哪些
用于仿生视觉传感器内运动感知的光电分级神经元设计
三星2019年营业利润同比下降52.9%,今年将逐渐转好
谷歌发布球形“光场视频”捕捉方案,为消费者提供真正的沉浸式体验