tf.keras.layers.experimental.RandomFourierFeatures

Слой, который проецирует свои входные данные в случайное пространстве функций.

Наследуется от: Layer, Module

tf.keras.layers.experimental.RandomFourierFeatures(
    output_dim,
    kernel_initializer='gaussian',
    scale=None,
    trainable=False,
    name=None,
    **kwargs
)

Этот слой реализует отображение из входного пространства в пространство с output_dim измерениями, которое приближает сдвиговые инвариантные ядра. Функция ядра K(x, y) является сдвигово-инвариантной, если K(x, y) == k(x - y) для некоторой функции k. Многие популярные радиальные базисные функции (RBF), включая гауссовы и лапласовы ядра, являются сдвигово-инвариантными.

Реализация этого слоя основана на следующей статье: "Random Features for Large-Scale Kernel Machines" Али Рахими и Бена Рехта.

Распределение, из которого выбираются параметры отображения случайных функций (слоя), определяет, какое сдвиговое инвариантное ядро приближает слой (см. статью для получения дополнительной информации). Вы можете использовать распределение по своему выбору. Слой поддерживает приближения следующих двух ядер RBF «из коробки»:

• Гауссовское: K(x, y) == exp(- square(x - y) / (2 * square(scale)))
• Лапласово: K(x, y) = exp(-abs(x - y) / scale))

Примечание: В отличие от описанного в статье и в реализации Scikit-Learn, выход этого слоя не применяет sqrt(2 / D) нормировочный множитель.

Использование: Обычно этот слой используется для «ядерного» линейных моделей путём применения нелинейного преобразования (этого слоя) к входным признакам, а затем обучения линейной модели на преобразованных признаках. В зависимости от функции потерь линейной модели, композиция этого слоя и линейной модели приводит к моделям, которые эквивалентны (с точностью до приближения) ядрам SVM (для функции потерь hinge), ядрам логистической регрессии (для логистической функции потерь), ядрам линейной регрессии (для функции потерь squared) и т. д.

Примеры:

Модель ядра многоклассовой логистической регрессии с гауссовым ядром для MNIST:

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10, activation='softmax'),
])
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['categorical_accuracy']
)

Классификатор квази-SVM для MNIST:

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10),
])
model.compile(
    optimizer='adam',
    loss='hinge',
    metrics=['categorical_accuracy']
)

Для использования другого ядра, просто замените строку создания слоя на:

random_features_layer = RandomFourierFeatures(
    output_dim=500,
    kernel_initializer=<my_initializer>,
    scale=...,
    ...)