关于九游会 联系我们

咨询电话: 020-88888888

当前位置: 主页 > 新闻资讯 > 公司新闻

常见优化器总结!

发布于 2024-02-28 00:40 阅读(

符号含义备注W模型参数J(W)代价函数 ▽ J ( W ) \bigtriangledown J(W) J(W)梯度代价函数关于模型参数的偏导v一阶动量代表惯性r二阶动量用于控制自适应学习率q完全自适应学习率自适应学习率 η \eta η学习率 ( X , Y ) (X,Y) (X,Y)训练集整体样本 ( X ( i ) , Y ( i ) ) (X^{(i)} ,Y^{(i)}) (X(i),Y(i))训练集第i个样本 N N N训练集样本总量?随机参数?是为了数值稳定性而加上的 通常取10的负10次方

平台注册入口