tf.keras.layers.experimental.RandomFourierFeatures

Слой, который проектирует свои входные данные в случайное пространство признаков.

Наследуется от: Layer, Module

tf.keras.layers.experimental.RandomFourierFeatures(
    output_dim, kernel_initializer='gaussian', scale=None,
    trainable=False, name=None, **kwargs
)

Этот слой реализует отображение из входного пространства в пространство с output_dim измерениями, которое аппроксимирует сдвигоинвариантные ядра. Функция ядра K(x, y) является сдвигоинвариантной, если K(x, y) == k(x - y) для некоторой функции k. Многие популярные радиальные базисные функции (RBF), включая гауссовы и лапласианские ядра, являются сдвигоинвариантными.

Реализация этого слоя основана на следующей статье: "Random Features for Large-Scale Kernel Machines" Али Рахими и Бена Рехта.

Распределение, из которого выбираются параметры карты случайных признаков (слоя), определяет, какое сдвигоинвариантное ядро аппроксимирует слой (см. статью для получения дополнительной информации). Вы можете использовать распределение по своему выбору. Слой поддерживает прямое приближение следующих двух ядер RBF:

• Гауссовское: K(x, y) == exp(- square(x - y) / (2 * square(scale)))
• Лапласианское: K(x, y) = exp(-abs(x - y) / scale))

Примечание: В отличие от описанного в статье и используемого в реализации Scikit-Learn, выходной слой этого слоя не применяет sqrt(2 / D) нормализационный множитель.

Использование: Обычно этот слой используется для "ядерной" линейной модели, применяя нелинейное преобразование (этот слой) к входным признакам, а затем обучая линейную модель на преобразованных признаках. В зависимости от функции потерь линейной модели, композиция этого слоя и линейной модели приводит к моделям, которые являются эквивалентными (с точностью до аппроксимации) к ядровым SVM (для потери шарнира), ядровой логистической регрессии (для логистической потери), ядровой линейной регрессии (для квадратичной потери) и т. д.

Примеры:

Модель ядровой многочленной логистической регрессии с гауссовым ядром для MNIST:

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10, activation='softmax'),
])
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['categorical_accuracy']
)

Классификатор квази-SVM для MNIST:

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10),
])
model.compile(
    optimizer='adam',
    loss='hinge',
    metrics=['categorical_accuracy']
)

Чтобы использовать другое ядро, просто замените строку создания слоя на:

random_features_layer = RandomFourierFeatures(
    output_dim=500,
    kernel_initializer=<my_initializer>,
    scale=...,
    ...)