model.eval() 在 pytorch 中起什么作用？

问题描述：

我应该什么时候使用.eval()？我理解它应该允许我“评估我的模型”。我该如何关闭它进行训练？

使用的示例训练代码.eval()。

解决方案 1：

model.eval()是一种针对模型中某些特定层/部分在训练和推理（评估）时行为不同的开关。例如，Dropouts 层、BatchNorm 层等。您需要在模型评估期间关闭它们，我们.eval()会为您完成。此外，评估/验证的常见做法是torch.no_grad()结合使用model.eval()来关闭梯度计算：

# evaluate model:
model.eval()

with torch.no_grad():
    ...
    out_data = model(data)
    ...

但是，不要忘记在评估步骤后返回training模式：

# training step
...
model.train()
...

解决方案 2：

您可以通过运行来关闭评估模式。您应该在将模型作为推理引擎运行时使用它 - 例如在测试、验证和预测时（尽管实际上，如果您的模型不包含任何行为不同的层，model.train()它不会有任何区别）。

1. 例如BatchNorm，InstanceNorm

2. 这包括 RNN 模块的子模块等。

解决方案 3：

model.eval是以下方法torch.nn.Module：

eval()

将模块设置为评估模式。

这仅对某些模块有效。如果受影响，请参阅特定模块在训练/评估模式下的行为详情（例如Dropout、BatchNorm等） ，请参阅其文档。

这与 等价self.train(False)。

model.trainUmang Gupta 很好地解释了相反的方法。

解决方案 4：

对以上答案的补充：

我最近开始使用Pytorch-lightning，它包装了训练-验证-测试流程中的大部分样板。

除其他事项外，它通过允许包装和的和回调使model.eval()和几乎变得多余，因此您永远不会忘记。model.train()`train_stepvalidation_stepeval`train

解决方案 5：

模型.eval()

GFG对此有非常清晰的解释。

• 将 PyTorch 模型设置为评估模式，禁用诸如 dropout 之类的操作，这对于推理和测试很有用。

• 该方法在确保推理和测试期间模型行为的一致性和可靠性方面发挥着关键作用。