记录 torch.optim.LBFGS

主要记录一下 torch.optim.LBFGS 的用法

源码如下

class LBFGS(Optimizer):"""Implements L-BFGS algorithm, heavily inspired by `minFunc<https://www.cs.ubc.ca/~schmidtm/Software/minFunc.html>`... warning::This optimizer doesn't support per-parameter options and parametergroups (there can be only one)... warning::Right now all parameters have to be on a single device. This will beimproved in the future... note::This is a very memory intensive optimizer (it requires additional``param_bytes * (history_size + 1)`` bytes). If it doesn't fit in memorytry reducing the history size, or use a different algorithm.Arguments:lr (float): learning rate (default: 1)max_iter (int): maximal number of iterations per optimization step(default: 20)max_eval (int): maximal number of function evaluations per optimizationstep (default: max_iter * 1.25).tolerance_grad (float): termination tolerance on first order optimality(default: 1e-5).tolerance_change (float): termination tolerance on functionvalue/parameter changes (default: 1e-9).history_size (int): update history size (default: 100).line_search_fn (str): either 'strong_wolfe' or None (default: None)."""def __init__(self,params,lr=1,max_iter=20,max_eval=None,tolerance_grad=1e-7,tolerance_change=1e-9,history_size=100,line_search_fn=None):......

其中 max_iter (int) 是指 lbfgs 内部优化迭代时的步数,
而 max_eval 才是通常理解的最大迭代步数, 比如 max_eval=100, 那么就是指 lbfgs 迭代 100 步后, 外部的程序才会终止.

记录 torch.optim.LBFGS相关推荐

pytorch 使用 torch.optim.LBFGS() 优化神经网络
pytorch的优化器中,如果我们直接像调用其他优化器一样调用LBFGS,如下形式: criterion = nn.MSELoss() optimizer = torch.optim.LBFGS(pa ...
PyTorch官方中文文档：torch.optim 优化器参数
内容预览: step(closure) 进行单次优化 (参数更新). 参数: closure (callable) –...~ 参数: params (iterable) – 待优化参数的iterab ...
torch的拼接函数_从零开始深度学习Pytorch笔记（13）—— torch.optim
前文传送门: 从零开始深度学习Pytorch笔记(1)--安装Pytorch 从零开始深度学习Pytorch笔记(2)--张量的创建(上) 从零开始深度学习Pytorch笔记(3)--张量的创建(下) ...
PyTorch： torch.optim 的6种优化器及优化算法介绍
import torch import torch.nn.functional as F import torch.utils.data as Data import matplotlib.pyplo ...
【torch.optim】优化器的使用 / 学习率的调整 / SWA策略
torch.optim torch.optim是实现各种优化算法的包.大多数常用的方法都已得到支持,而且接口足够通用,因此将来还可以轻松集成更复杂的方法. 优化器使用优化器为了使用一个优化器,必须 ...
PyTorch 笔记（18）— torch.optim 优化器的使用
到目前为止,代码中的神经网络权重的参数优化和更新还没有实现自动化,并且目前使用的优化方法都有固定的学习速率,所以优化函数相对简单,如果我们自己实现一些高级的参数优化算法,则优化函数部分的代码会变得较为 ...
pytorch torch.optim.Optimizer
API 1)Optimizer CLASS torch.optim.Optimizer(params, defaults) 参数描述 params (iterable) an iterable of ...
优化器：torch.optim
原文:pytorch-book/chapter4.ipynb at master · chenyuntc/pytorch-book · GitHub 4.2 优化器 PyTorch将深度学习中常用的优 ...
pytorch 中 torch.optim.Adam 方法的使用和参数的解释
class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source] 实现Ad ...

记录 torch.optim.LBFGS

记录 torch.optim.LBFGS相关推荐

最新文章

热门文章