用户头像

发起人：没什么卵用 初入职场

回复 ( 1 )

  1. 徐炳祥
    徐炳祥 初入职场
    0
    举报 回复
    理由
    举报 取消

    可以证明，二分类问题的SVM等价于下面这个问题：

    \min\limits_{\beta,\beta_0}\sum\limits_{i=1}^N|1-y_if(x_i)|_++\frac{\lambda}{2}\|\beta\|^2

    其中

    f(x)=\beta_0+h^T(x)\beta,h是核函数，响应y取-1和1两个值。这是个典型的损失—惩罚问题，不同的是损失函数对于落在Margin正确一侧，且在Margin以外的样本不做惩罚，而在错误一侧或者是Margin以内的样本做线性惩罚。样本和Margin的相对位置可以刻画分类器分类该样本时的误差。从正确的一边向错误的一边误差越来越大。于是上面的那句话就可以被翻译成：模型由误差较大的点决定。把这个思想推广到连续变量的情形，构造下面的损失函数：V_e(r)=(|r|-e)_+。此损失函数对于小于e的损失不做惩罚，对于大于e的损失作线性惩罚。用此损失构造一个损失惩罚问题：

    \min\limits_{\beta,\beta_0}\sum\limits_{i=1}^NV_e(y_i-f(x_i))+\frac{\lambda}{2}\|\beta\|^2

    其中f(x)=x^T\beta+\beta_0，这个问题的解也当然仅仅由误差大于e的那些样本决定。思想和上面的SVM如出一辙，但这已经是一个回归问题了。这东西就是SVR。

    ———————————————————————————————————————————

    谢 @Gareth Li 提醒，下午写的有点错误。已更正。

我来回答

Captcha 点击图片更换验证码