如何在 TensorFlow 中应用梯度剪裁？

问题描述：

考虑示例代码。

我想知道如何在存在梯度爆炸可能性的 RNN 网络上应用梯度剪辑。

tf.clip_by_value(t, clip_value_min, clip_value_max, name=None)

这是一个可以使用的示例，但我在哪里介绍它？在 RNN 的定义中

    lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0)
    # Split data because rnn cell needs a list of inputs for the RNN inner loop
    _X = tf.split(0, n_steps, _X) # n_steps
tf.clip_by_value(_X, -1, 1, name=None)

但这没有意义，因为张量 _X 是输入，而不是要剪辑的梯度？

我是否必须为此定义自己的优化器或者是否有更简单的选项？

解决方案 1：

梯度截断需要在计算梯度之后、应用梯度来更新模型参数之前进行。在您的示例中，这两件事都由该AdamOptimizer.minimize()方法处理。

为了剪辑渐变，您需要明确计算、剪辑和应用它们，如TensorFlow API 文档中的本节所述。具体来说，您需要minimize()用以下内容替换对方法的调用：

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(cost)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)

解决方案 2：

尽管这看起来很流行，但你可能还是想通过全局规范来剪辑整个渐变：

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimize = optimizer.apply_gradients(zip(gradients, variables))

单独剪裁每个梯度矩阵会改变它们的相对比例，但也是可能的：

optimizer = tf.train.AdamOptimizer(1e-3)
gradients, variables = zip(*optimizer.compute_gradients(loss))
gradients = [
    None if gradient is None else tf.clip_by_norm(gradient, 5.0)
    for gradient in gradients]
optimize = optimizer.apply_gradients(zip(gradients, variables))

在 TensorFlow 2 中，磁带计算梯度，优化器来自 Keras，我们不需要存储更新操作，因为它会自动运行而无需将其传递给会话：

optimizer = tf.keras.optimizers.Adam(1e-3)
# ...
with tf.GradientTape() as tape:
  loss = ...
variables = ...
gradients = tape.gradient(loss, variables)
gradients, _ = tf.clip_by_global_norm(gradients, 5.0)
optimizer.apply_gradients(zip(gradients, variables))

解决方案 3：

对于 tf.keras 来说这很容易！

optimizer = tf.keras.optimizers.Adam(clipvalue=1.0)

该优化器将把所有梯度剪切为之间的值[-1.0, 1.0]。

查看文档。

解决方案 4：

这实际上在文档中得到了正确的解释。：

调用 minimal() 负责计算梯度并将其应用于变量。如果你想在应用梯度之前处理梯度，你可以使用优化器分三步进行：

• 使用 compute_gradients() 计算梯度。

• 按照您的意愿处理渐变。

• 使用apply_gradients()应用处理后的渐变。

在他们提供的示例中，他们使用了以下 3 个步骤：

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

这MyCapper是任何限制渐变的函数。除 之外的有用函数列表tf.clip_by_value()在此处。

解决方案 5：

对于那些想要了解梯度剪裁思想的人（按规范）：

每当梯度范数大于特定阈值时，我们就会限制梯度范数，使其保持在阈值范围内。此阈值有时设置为5。

令梯度为g，max_norm_threshold 为j。

现在，如果 || g || > j，我们这样做：

g = （ j * g） / || g ||

这是在tf.clip_by_norm

解决方案 6：

我认为最好的解决方案是使用 TF 的估算器装饰器包装您的优化器tf.contrib.estimator.clip_gradients_by_norm：

original_optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
optimizer = tf.contrib.estimator.clip_gradients_by_norm(original_optimizer, clip_norm=5.0)
train_op = optimizer.minimize(loss)

这样，您只需定义一次，而不必在每次梯度计算后运行它。

文档：
https：//www.tensorflow.org/api_docs/python/tf/contrib/estimator/clip_gradients_by_norm

解决方案 7：

梯度剪裁基本上有助于解决梯度爆炸或消失的情况。假设你的损失太高，这将导致指数梯度流过网络，从而导致 Nan 值。为了克服这个问题，我们将梯度剪裁在特定范围内（-1 到 1 或根据条件的任何范围）。

clipped_value=tf.clip_by_value(grad, -range, +range), var) for grad, var in grads_and_vars

其中 grads _and_vars 是梯度对（通过 tf.compute_gradients 计算）及其将应用到的变量。

剪辑后，我们只需使用优化器应用其值。
optimizer.apply_gradients(clipped_value)

解决方案 8：

方法 1

如果你使用自定义训练循环训练模型，那么一个更新步骤将如下所示

'''
 for loop over full dataset
 X -> training samples
 y -> labels
'''
optimizer = tf.keras.optimizers.Adam()
for x, y in train_Data:
    with tf.GradientTape() as tape:
            prob = model(x, training=True)
            # calculate loss
            train_loss_value = loss_fn(y, prob)
        
        # get gradients
        gradients = tape.gradient(train_loss_value, model.trainable_weights)
        # clip gradients if you want to clip by norm
        gradients = [(tf.clip_by_norm(grad, clip_norm=1.0)) for grad in gradients]
        # clip gradients via values
        gradients = [(tf.clip_by_value(grad, clip_value_min=-1.0, clip_value_max=1.0)) for grad in gradients]
        # apply gradients
        optimizer.apply_gradients(zip(gradients, model.trainable_weights))

方法 2

或者你也可以简单地将上面代码的第一行替换为以下内容

# for clipping by norm
optimizer = tf.keras.optimizers.Adam(clipnorm=1.0)
# for clipping by value
optimizer = tf.keras.optimizers.Adam(clipvalue=0.5)

如果您使用model.compile->model.fit管道，第二种方法也将有效。