大家好！又到了每周一狗熊会的深度学习时间了。在上一期中，小编和大家介绍了机器学习和深度学习中的核心任务以及神经网络的正则化方法和dropout方法来防止过拟合。本期将借着第一期推送小编关于模型与算法的讨论的引子，和大家深入探讨机器学习和深度学习的数学本质，并在此基础上重点介绍深度学习中常用的优化算法...

优化器（Optimizer）是深度学习中用于更新模型参数的一种方法，它的目标是最小化损失函数。在训练神经网络时，我们通常使用梯度下降法来更新参数，而优化器就是实现这一过程的工具。优化器的主要作用是在每次迭代过程中计算损失函数关于模型参数的梯度，并根据梯度的方向和大小来更新参数，从而使得模型逐渐逼近最...

在我的公众号“圆圆的算法笔记”中，为大家整理了数十篇一文贯通干货算法笔记，每一篇笔记详细梳理了一个子方向的顶会工作和它们的关系，涉及序预测、元学习、推荐系统、NLP、多模态、表示学习等多个领域，感兴趣的同学可以公众号后台回复【知乎干货】获取笔记~今天跟...

基于梯度下降的逻辑回归是一种常用的分类算法。逻辑回归的目标是建立一个分类器，通过求解参数，将样本分为两个类别。其主要步骤包括回归函数、似然函数、梯度下降求解和代码实现。首先，回归函数是逻辑回归模型的核心。它基于线...

在tensorflow中我们通过梯度下降算法来优化我们的模型，同时这个优化算法会在每一步的训练中来跟新，迭代模型的参数。参考论文参考文章优化算法对于深度学习是至关重要的一步，因为实际训练一个模型所需的时间非常久，如果选错了优化器，对于模型的结果有...