tf.keras.regularizers.Regularizer

Базовый класс регуляризатора.

Регуляризаторы позволяют применять штрафы к параметрам слоев или активности слоев во время оптимизации. Эти штрафы суммируются в функцию потерь, которую оптимизирует сеть.

Штрафы регуляризации применяются на основе каждого слоя. Точный API будет зависеть от слоя, но многие слои (например, Dense, Conv1D, Conv2D и Conv3D) имеют унифицированный API.

Эти слои раскрывают 3 ключевых аргумента:

• kernel_regularizer: Регуляризатор для применения штрафа к ядру слоя
• bias_regularizer: Регуляризатор для применения штрафа к смещению слоя
• activity_regularizer: Регуляризатор для применения штрафа к выводу слоя

Все слои (включая пользовательские слои) раскрывают activity_regularizer в качестве устанавливаемого свойства, независимо от того, является ли он аргументом конструктора.

Значение, возвращаемое activity_regularizer, делится на размер пакета ввода, чтобы относительный вес между регуляризаторами весов и регуляризаторами активности не изменялся при изменении размера пакета.

Вы можете получить доступ к штрафам регуляризации слоя, вызвав layer.losses после применения слоя к входным данным.

Пример

layer = tf.keras.layers.Dense(
    5, input_dim=5,
    kernel_initializer='ones',
    kernel_regularizer=tf.keras.regularizers.L1(0.01),
    activity_regularizer=tf.keras.regularizers.L2(0.01))
tensor = tf.ones(shape=(5, 5)) * 2.0
out = layer(tensor)

# The kernel regularization term is 0.25
# The activity regularization term (after dividing by the batch size) is 5
tf.math.reduce_sum(layer.losses)
<tf.Tensor: shape=(), dtype=float32, numpy=5.25>

Доступные штрафы

tf.keras.regularizers.L1(0.3)  # L1 Regularization Penalty
tf.keras.regularizers.L2(0.1)  # L2 Regularization Penalty
tf.keras.regularizers.L1L2(l1=0.01, l2=0.01)  # L1 + L2 penalties

Прямой вызов регуляризатора

Вычислить штраф регуляризации по тензору путем прямого вызова регуляризатора, как если бы это была функция с одним аргументом.

Например:

>>> regularizer = tf.keras.regularizers.L2(2.)
>>> tensor = tf.ones(shape=(5, 5))
>>> regularizer(tensor)
<tf.Tensor: shape=(), dtype=float32, numpy=50.0>

Разработка новых регуляризаторов

Любая функция, которая принимает матрицу весов и возвращает скалярный тензор, может использоваться в качестве регуляризатора, например:

@tf.keras.utils.register_keras_serializable(package='Custom', name='l1')
def l1_reg(weight_matrix):
   return 0.01 * tf.math.reduce_sum(tf.math.abs(weight_matrix))

layer = tf.keras.layers.Dense(5, input_dim=5,
    kernel_initializer='ones', kernel_regularizer=l1_reg)
tensor = tf.ones(shape=(5, 5))
out = layer(tensor)
layer.losses
[<tf.Tensor: shape=(), dtype=float32, numpy=0.25>]

В качестве альтернативы, вы можете написать собственные регуляризаторы объектно-ориентированным способом, расширив этот базовый класс регуляризатора, например:

@tf.keras.utils.register_keras_serializable(package='Custom', name='l2')
class L2Regularizer(tf.keras.regularizers.Regularizer):
  def __init__(self, l2=0.):
    self.l2 = l2

  def __call__(self, x):
    return self.l2 * tf.math.reduce_sum(tf.math.square(x))

  def get_config(self):
    return {'l2': float(self.l2)}

layer = tf.keras.layers.Dense(
  5, input_dim=5, kernel_initializer='ones',
  kernel_regularizer=L2Regularizer(l2=0.5))

tensor = tf.ones(shape=(5, 5))
out = layer(tensor)
layer.losses
[<tf.Tensor: shape=(), dtype=float32, numpy=12.5>]

Примечание о сериализации и десериализации:

Регистрация регуляризаторов в качестве сериализуемых является необязательной, если вы только обучаете и выполняете модели, экспортируете в SavedModels и из них, или сохраняете и загружаете контрольные точки весов.

Регистрация требуется для Keras model_to_estimator, сохранения и загрузки моделей в формате HDF5, клонирования моделей Keras, некоторых утилит визуализации и экспорта моделей в JSON и из него. Если вы используете эту функциональность, вы должны убедиться, что любой процесс Python, работающий с вашей моделью, также определил и зарегистрировал ваш пользовательский регуляризатор.

tf.keras.utils.register_keras_serializable доступен только в TF 2.1 и более поздних версиях. В более ранних версиях TensorFlow вы должны передать свой пользовательский регуляризатор в аргумент custom_objects методов, ожидающих регистрации пользовательских регуляризаторов в качестве сериализуемых.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает регуляризатор из его конфигурации.

Этот метод является обратным к get_config, способным восстановить тот же регуляризатор из словаря конфигурации.

Этот метод используется Keras model_to_estimator, сохранения и загрузки моделей в формате HDF5, клонирования моделей Keras, некоторых утилит визуализации и экспорта моделей в JSON и из него.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию регуляризатора.

Конфигурация регуляризатора — это словарь Python (сериализуемый), содержащий все параметры конфигурации регуляризатора. Тот же регуляризатор можно повторно создать позже (без сохраненных данных) из этой конфигурации.

Этот метод является необязательным, если вы только обучаете и выполняете модели, экспортируете в SavedModels и из них, или используете контрольные точки весов.

Этот метод необходим для Keras model_to_estimator, сохранения и загрузки моделей в формате HDF5, клонирования моделей Keras, некоторых утилит визуализации и экспорта моделей в JSON и из него.

__call__

Просмотреть исходный код

__call__(
    x
)

Вычислить штраф регуляризации по входному тензору.