vanilaSGD先不写了，很简单，主要从Momentum开始。?老规矩，先手写，再对照书本：其实这个还真难手写出一样的，尤其v的初始化，我就没想到他怎么做。他默认了很多规则在里边，他的v没在init初始化，也不能动态，二是在第一次update时定型。其他方面，有些地方k、v对，其实用k或者v都能达...