本章主要学习的内容是支持向量机
一个样本集中的样本可以有很多的特征,以这些特征作为基,可以构成这个样本集的一个特征空间。
支持向量机是一种作用在这个特征空间上的一个二分类模型。它的目标是找到一个该空间中的超平面(因为不一定是特征空间3维,所以称超平面,多维平面),用它将样本集二分。我们希望新加入的样本,模型对这些新样本的分类适应性最强,这样得到的模型就是支持向量机。
对数据点进行划分时,易知:当超平面距离与它最近的数据点的间隔越大,分类的鲁棒性越好,即当新的数据点加入时,超平面对这些点的适应性最强,出错的可能性最小
超平面的表述方法为 $w^T x + b = 0$,其中w为参数向量,x为特征向量。
<aside> ⚠️ 通常SVM的样本标记可以记为以下格式: $(x,y)$ 其中x为特征,y取值为 $\pm 1$ ,代表正例或者负例。
</aside>
SVM使用几何间隔作为SVM中距离的定义。算法如下:
根据几何知识推广,我们可以知道某特征向量终点到平面的距离为
为了距离为正,我们不妨将 $\gamma$ 乘以 y, 其中y作为样本的类别,判断依据为:
当w'x+b>0
时,表示x在超平面的一侧(正类,类标为1)