模型训练技巧—

1. pytorch 中学习率的调节策略

（1）等间隔调整学习率 StepLR

（2）按需调整学习率 MultiStepLR

（3）指数衰减调整学习率 ExponentialLR

（4）余弦退火调整学习率 CosineAnnealingLR

（5）自适应调整学习率 ReduceLROnPlateau

（6）自定义调整学习率 LambdaLR

每种学习率的参数详解，见博文：pytorch 学习率参数详解

2. 论文中和比赛中学习率的调节策略

然而在顶会论文和知名比赛中，作者一般都不会直接使用上述学习率调整策略，而是先预热模型（warm up）, 即以一个很小的学习率逐步上升到设定的学习率，这样做会使模型的最终收敛效果更好。

下面，小编以warm up + CosineAnnealingLR来实现学习率的调整。训练过程中学习率的变化过程如图中红色曲线所示：

3. 代码实现

首先，写一个warm up的类，重写get_lr方法。

import torch
from torch.optim.lr_scheduler import _LRSchedulerclass WarmUpLR(_LRScheduler):"""warmup_training learning rate schedulerArgs:optimizer: optimzier(e.g. SGD)total_iters: totoal_iters of warmup phase"""def __init__(self, optimizer, total_iters, last_epoch=-1):self.total_iters = total_iterssuper().__init__(optimizer, last_epoch)def get_lr(self):"""we will use the first m batches, and set the learningrate to base_lr * m / total_iters"""return [base_lr * self.last_epoch / (self.total_iters + 1e-8) for base_lr in self.base_lrs]

在训练代码中使用：

    criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9, weight_decay=5e-4)warmup_epoch = 5scheduler = CosineAnnealingLR(optimizer, 100 - warmup_epoch)iter_per_epoch = len(train_dataset)warmup_scheduler = WarmUpLR(optimizer, iter_per_epoch * warmup_epoch)for epoch in range(1, max_epoch+1):if epoch >= warmup_epoch:scheduler.step()learn_rate = scheduler.get_lr()[0]print("Learn_rate:%s" % learn_rate)test(epoch, net, valloader, criterion)train(epoch, net, trainloader, optimizer, criterion, warmup_scheduler)

在train函数中的修改：

for (inputs, targets) in tqdm(trainloader):if epoch < 5:warmup_scheduler.step()warm_lr = warmup_scheduler.get_lr()print("warm_lr:%s" % warm_lr)inputs, targets = inputs.to(device), targets.to(device)

4. 总结

在论文中和比赛中一般都会用到warm up技巧，特别是在模型难收敛的任务中。在论文中，MultiStepLR和CosineAnnealingLR两种学习率调节策略用得较多。在知名竞赛中，ReduceLROnPlateau学习率调整策略用得较多。小编在工程项目中是怎么用的呢？一般用warm up结合上述三种调节策略都尝试一遍，最终哪个模型的精度高就用哪个模型。很多情况下，三个模型的精度差不多，精度差距在±0.5%以内。