如何解决FTRL算法的波动性问题? 举报 理由 举报 取消 Google在2013年提出来Logistic回归的FTRL的online training方法之后,据说很多公司的点击率预测系统都使用了FTRL算法,我们最近也在对FTRL算法做评估,我们发现FTRL在流式的online training的情况下,AUC的波动会比较大,不知道大家有没有遇到过类似的问题?有没有什么好的解决办法呢? 2018年1月17日 3 条回复 1238 次浏览 Logistic,回归,学习,广告学,推荐,数据挖掘,机器,系统,计算
回复 ( 3 )
谢邀!
通常一个算法不稳定要分析不稳定的来源:有可能是数据分布变动,有可能是优化目标设置有偏,也有可能是优化算法问题。对于FTRL来说,原因主要是使用SGD作为优化算法,SGD本身有较大随机性,所以建议从这个角度入手。可以尝试的方案包括但不仅限于:1. Multi-pass;2. Averaging;3. Calibration。
Good luck!
你的auc是怎么算的呢? progressive validation递进式计算模型对最新样本的auc么?
简而言之是基于sgd的方法 可以尝试学习一下学习率 ^_^