阅读(8k) 书签 (0)

将TensorFlow张量值剪辑到最大平均L2-norm

2018-09-11 16:00 更新

tf.clip_by_average_norm

clip_by_average_norm (  
    t ,  
    clip_norm ,  
    name = None
  )

定义在:tensorflow/python/ops/clip_ops.py

参见指南:Training函数>梯度剪辑

将张量值剪辑到最大平均  L2-norm.

给定一个张量 t 和一个最大的剪辑值 clip_norm,此操作规范化 t,使其平均 L2-norm 小于或等于 clip_norm.具体地说,如果平均 L2-norm 已经小于或等于 clip_norm,则 t 不会被修改.如果平均 L2-norm 大于 clip_norm,则此操作将返回与 t 相同的类型和形状的张量,其值设置为:

t * clip_norm / l2norm_avg(t)

在这种情况下,输出张量的平均 L2-norm 为 clip_norm.

此操作通常用于在将渐变应用于优化程序之前对其进行剪辑.

ARGS:

  • t:一个张量.
  • clip_norm:一个0维 (标量) 张量 > 0,最大剪辑值.
  • name:操作的名称(可选).

返回:

返回一个剪辑张量.