tf.keras.Regularizer

Базовый класс регуляризатора.

Используется в ноутбуках

Регуляризаторы позволяют применять штрафы к параметрам слоя или активности слоя во время оптимизации. Эти штрафы суммируются в функцию потерь, которую оптимизирует сеть.

Штрафы регуляризации применяются на основе каждого слоя. Точный API будет зависеть от слоя, но многие слои (например, Dense, Conv1D, Conv2D и Conv3D) имеют унифицированный API.

Эти слои поддерживают 3 ключевых аргумента:

• kernel_regularizer: Регуляризатор для применения штрафа к ядру слоя
• bias_regularizer: Регуляризатор для применения штрафа к смещению слоя
• activity_regularizer: Регуляризатор для применения штрафа к выходу слоя

Все слои (включая пользовательские слои) предоставляют activity_regularizer в качестве устанавливаемого свойства, независимо от того, присутствует ли оно в аргументах конструктора.

Значение, возвращаемое activity_regularizer, делится на размер пакета входных данных, чтобы относительное взвешивание весовых регуляризаторов и регуляризаторов активности не менялось при изменении размера пакета.

Вы можете получить доступ к штрафам регуляризации слоя, вызвав layer.losses после вызова слоя на входных данных.

Пример

layer = Dense(
    5, input_dim=5,
    kernel_initializer='ones',
    kernel_regularizer=L1(0.01),
    activity_regularizer=L2(0.01))
tensor = ops.ones(shape=(5, 5)) * 2.0
out = layer(tensor)

# The kernel regularization term is 0.25
# The activity regularization term (after dividing by the batch size)
# is 5
ops.sum(layer.losses)
5.25

Доступные штрафы

L1(0.3)  # L1 Regularization Penalty
L2(0.1)  # L2 Regularization Penalty
L1L2(l1=0.01, l2=0.01)  # L1 + L2 penalties

Прямое вызов регуляризатора

Вычислить штраф регуляризации на тензоре, напрямую вызвав регуляризатор как одноаргументную функцию.

Например:

regularizer = L2(2.)
tensor = ops.ones(shape=(5, 5))
regularizer(tensor)
50.0

Разработка новых регуляризаторов

Любая функция, которая принимает матрицу весов и возвращает скалярный тензор, может быть использована в качестве регуляризатора, например:

def l1_reg(weight_matrix):
   return 0.01 * ops.sum(ops.absolute(weight_matrix))

layer = Dense(5, input_dim=5,
    kernel_initializer='ones', kernel_regularizer=l1_reg)
tensor = ops.ones(shape=(5, 5))
out = layer(tensor)
layer.losses
0.25

В качестве альтернативы, вы можете написать свои пользовательские регуляризаторы объектно-ориентированным способом, расширив этот базовый класс регуляризатора, например:

class L2Regularizer(Regularizer):
  def __init__(self, l2=0.):
    self.l2 = l2

  def __call__(self, x):
    return self.l2 * ops.sum(ops.square(x))

  def get_config(self):
    return {'l2': float(self.l2)}

layer = Dense(
  5, input_dim=5, kernel_initializer='ones',
  kernel_regularizer=L2Regularizer(l2=0.5))

tensor = ops.ones(shape=(5, 5))
out = layer(tensor)
layer.losses
12.5

Примечание о сериализации и десериализации:

Регистрация регуляризаторов как сериализуемых является необязательной, если вы просто обучаете и выполняете модели, экспортируете в SavedModels и из них, или сохраняете и загружаете контрольные точки весов.

Регистрация требуется для сохранения и загрузки моделей в формате HDF5, клонирования моделей Keras, некоторых утилит визуализации и экспорта моделей в JSON и из него. Если вы используете эту функциональность, вы должны убедиться, что любой процесс Python, выполняющий вашу модель, также определил и зарегистрировал ваш пользовательский регуляризатор.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт регуляризатор из его конфигурации.

Этот метод является обратным get_config, позволяя создать тот же регуляризатор из словаря конфигурации.

Этот метод используется Keras model_to_estimator, для сохранения и загрузки моделей в формате HDF5, для клонирования моделей Keras, некоторых утилит визуализации, а также для экспорта моделей в JSON и из JSON.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию регуляризатора.

Конфигурация регуляризатора — это словарь Python (сериализуемый), содержащий все параметры конфигурации регуляризатора. Этот же регуляризатор можно повторно создать позже (без сохраненного состояния) из этой конфигурации.

Этот метод необязателен, если вы просто обучаете и выполняете модели, экспортируете в SavedModels и из них, или используете контрольные точки весов.

Этот метод требуется для Keras model_to_estimator, сохранения и загрузки моделей в формате HDF5, клонирования моделей Keras, некоторых утилит визуализации, и экспорта моделей в JSON и из JSON.

__call__

Просмотреть исходный код

__call__(
    x
)

Вычисляет штраф регуляризации от входного тензора.