用户名*
邮箱*
密码*
确认密码*
验证码* 点击图片更换验证码
找回密码
忘记密码了？输入你的注册邮箱，并点击重置，稍后，你将会收到一封密码重置邮件。
火星人
怎么说呢……
很多情况下，由于训练一次的成本很高，往往只能随便选几组参数，挑个最好的。
当训练一次的成本不高的时候，往往就直接暴力上grid search了。
只有在训练一次的成本不高，参数空间的维数又十分高的情况下，才有各种调参方法的生存空间。
我曾经用过Powell’s conjugate gradient method，不过因为它最终给出的参数都不是整数，最后还是改成了在grid search的空间上做hill climbing。
下面这个提问也提到了一种调参方法，不过我没仔细看：
为什么基于贝叶斯优化的自动调参没有大范围使用？ – 机器学习
暴力是一种美学，因为省事儿
思考也是一种美学，因为提升
当然，我一般都是用暴力解决问题，不费脑子
什么是lr训练？
用scikit learn里的random search就行了。
可以参考2012年的Random Search for Hyper-Parameter Optimization
里面对比了其他的一些自动调参法包括grid search，low-discrepancy序列等等。
作者还在文末吐槽说明明有这么多更好的自动寻参方法，为什么你们还要暴力搜索呢？
现在spark ml 支持pipline 能省去参数调优麻烦～
昵称*
E-Mail*
回复内容*
回复 ( 5 )
怎么说呢……
很多情况下，由于训练一次的成本很高，往往只能随便选几组参数，挑个最好的。
当训练一次的成本不高的时候，往往就直接暴力上grid search了。
只有在训练一次的成本不高，参数空间的维数又十分高的情况下，才有各种调参方法的生存空间。
我曾经用过Powell’s conjugate gradient method，不过因为它最终给出的参数都不是整数，最后还是改成了在grid search的空间上做hill climbing。
下面这个提问也提到了一种调参方法，不过我没仔细看：
为什么基于贝叶斯优化的自动调参没有大范围使用？ – 机器学习
暴力是一种美学，因为省事儿
思考也是一种美学，因为提升
当然，我一般都是用暴力解决问题，不费脑子
什么是lr训练？
用scikit learn里的random search就行了。
可以参考2012年的Random Search for Hyper-Parameter Optimization
里面对比了其他的一些自动调参法包括grid search，low-discrepancy序列等等。
作者还在文末吐槽说明明有这么多更好的自动寻参方法，为什么你们还要暴力搜索呢？
现在spark ml 支持pipline 能省去参数调优麻烦～