7.13 机器学习（八） 支持向量机

一.计算目的：

支持向量（集合边缘的数据）到决策面（一个平面）的距离最大

二.线性可分(硬间隔SVM)

定义：存在一个线性函数将样本分开

使用超平面：
样本分类：

函数间隔（反映分类是否正确，正则正确，负则错误）：

样本到超平面的距离：

完整计算流程：
判断SVM类型，若线性可分，则进入本分支（无松弛，无惩罚）
1.确定原始目标函数：

2.构造拉格朗日函数：

3.求导：

4.求该问题的对偶问题：

5.KKT条件：

6.求偏置：

7.预测：

三.线性不可分

完整计算流程：
判断SVM类型，若线性不可分，则进入本分支（有松弛s，有惩罚c）
1.原始目标函数:

2.拉格朗日函数：

3.求导：

4求该问题的对偶问题：

5.KKT条件：

6.计算偏置:

7.预测:

四.非线性:

定义：无法在当前维度下线性可分

应对方法：

核函数：将低维样本映射到一个更高维的地方以实现线性可分
完整计算流程:
判断SVM类型，若非线性，则进入本分支（有松弛s，有惩罚c）

1.原始目标函数:

2.定义核函数：

3.核对偶目标函数：

4.SMO 迭代公式（仅替换内积为核）：

5.计算偏置：

6.核预测：