【机器学习、最优化方法】非精确一维搜索究竟是怎么一回事？求知乎大神用通俗的语言解释一下~

理由
举报 取消

小弟今年研一，最近正在学习精确一维搜索和非精确一维搜索，感觉看教科书看的快要炸掉了，越看越糊涂，完全不明白是怎么一回事；求知乎大神赐教~T_T

2017年10月12日 3 条回复 1185 次浏览
用户头像

发起人：余永佳 初入职场

回复 ( 3 )

  1. 蔡建明
    蔡建明 初入职场
    0
    举报 回复
    理由
    举报 取消

    一维搜索的理论是建立在整个最优化理论之下的。

    所以如果你要理解什么一维搜索，就要理解最优化的目标与形式。

    最优化目标: minf(x) 一般而言f(x)是凸的。

    最优化基本形式：

    1、求取下降方向d,使得\nabla f(x) ^ T d < 0

    2、求取步长\alpha ，使得f(x+\alpha d) < f(x)

    3、反复迭代直至收敛

    所谓一维搜索指的就是步骤2。

    非精确一维搜索，就是找到一个\alpha 满足一定条件即可，好比Wolfe-Powell,Armijo条件。

    精确一维搜索，就是找到一个参数\alpha ，使得minf(x+\alpha d),有插值法，黄金分割法，直接法等等

    回答的浅显，难免有误，诸位指教

  2. 余永佳
    余永佳 初入职场
    0
    举报 回复
    理由
    举报 取消

    @蔡建明

    你看看可否这样理解：

    假设我从橙色那个点开始搜索；

    ①、如果采用精确搜索（如0.618、斐波那契等等），只要搜索范围不是特别小，就一定可以搜索到红色那个最优点，是十分精准的；

    ②、如果采用非精确搜索(比如Armijo)，如图，做了两条辅助线，绿色的虚线，那么搜索到的点就不一定是红色的那个点，而是(a,b)之间的某个点；

  3. 旅行者
    旅行者 初入职场
    0
    举报 回复
    理由
    举报 取消

    精确一维搜索，求导，求最小值。非精确一维搜索，逐渐逼近

    附：

我来回答

Captcha 点击图片更换验证码