将TensorFlow张量值剪辑到最大平均L2-norm
2018-09-11 16:00 更新
tf.clip_by_average_norm
clip_by_average_norm ( t , clip_norm , name = None )
定义在:tensorflow/python/ops/clip_ops.py
参见指南:Training函数>梯度剪辑
将张量值剪辑到最大平均 L2-norm.
给定一个张量 t 和一个最大的剪辑值 clip_norm,此操作规范化 t,使其平均 L2-norm 小于或等于 clip_norm.具体地说,如果平均 L2-norm 已经小于或等于 clip_norm,则 t 不会被修改.如果平均 L2-norm 大于 clip_norm,则此操作将返回与 t 相同的类型和形状的张量,其值设置为:
t * clip_norm / l2norm_avg(t)
在这种情况下,输出张量的平均 L2-norm 为 clip_norm.
此操作通常用于在将渐变应用于优化程序之前对其进行剪辑.
ARGS:
- t:一个张量.
- clip_norm:一个0维 (标量) 张量 > 0,最大剪辑值.
- name:操作的名称(可选).
返回:
返回一个剪辑张量.