机器学习中的支持向量机分类问题求解答

对于SVM支持向量机,如果一个错误分类的样本x_i在相反类的槽的外侧(不是边缘侧),那么下面满足条件的不等式是什么?为什么?请用使用反证来证明错误的选择。
1)y_i(w^T x_i + w_b)>=-1
2)y_i(w^T x_i + w_b)<=-1
3)y_i(w^T x_i + w_b)>=1
4)y_i(w^T x_i + w_b)<=1
5)y_i(w^T x_i + w_b)>=0
6)y_i(w^T x_i + w_b)<=0.

如果一个错误分类的样本 $x_i$ 在相反类的槽的外侧(不是边缘侧),则满足条件的不等式是 $y_i(w^T x_i + w_b) \leq -1$。

这是因为,如果该样本分类错误,那么其真实类别标签 $y_i$ 与其预测类别标签相反,即 $y_i \neq \text{sign}(w^T x_i + w_b)$。另外,样本 $x_i$ 在相反类的槽的外侧,也就是在其真实类别标签所对应的超平面的外侧,即 $y_i(w^T x_i + w_b) < 0$。如果我们假设不等式 $y_i(w^T x_i + w_b) \geq -1$ 成立,则可以得到:



(




+


)
<
0

1
y
i

(w
T
x
i

+w
b

)<0≤1
这意味着样本 $x_i$ 被正确分类,与我们之前的假设相矛盾,因此假设不等式 $y_i(w^T x_i + w_b) \geq -1$ 不成立。同样的,假设不等式 $y_i(w^T x_i + w_b) \geq 1$ 也不成立,因此正确的不等式应为 $y_i(w^T x_i + w_b) \leq -1$。

我们可以使用反证法来证明错误的选择。假设选择的不等式为 $y_i(w^T x_i + w_b) \geq -1$,则有 $y_i(w^T x_i + w_b) > -1$。由于样本 $x_i$ 被错误分类,我们知道 $y_i \neq \text{sign}(w^T x_i + w_b)$。因此,我们可以根据 SVM 的函数间隔定义,得到:



(




+


)
<
0
y
i

(w
T
x
i

+w
b

)<0
但这与 $y_i(w^T x_i + w_b) > -1$ 相矛盾,因此假设不成立。同样的,假设选择的不等式为 $y_i(w^T x_i + w_b) \geq 1$ 也同样不成立。因此,正确的选择应该是 $y_i(w^T x_i + w_b) \leq -1$。

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^