tf.keras.layers.experimental.preprocessing.Hashing

Реализует хэширование категориальных признаков, также известное как «хэширование трюк».

Наследуется от: PreprocessingLayer, Layer, Module

tf.keras.layers.experimental.preprocessing.Hashing(
    num_bins, salt=None, name=None, **kwargs
)

Этот слой преобразует один или несколько категориальных входных данных в хэшированный вывод. Он преобразует последовательность целых чисел или строк в последовательность целых чисел. Стабильная хеш-функция использует tensorflow::ops::Fingerprint для производства универсального вывода, который согласован на разных платформах.

Этот слой по умолчанию использует FarmHash64, который обеспечивает согласованный хэшированный вывод на разных платформах и является стабильным при вызовах, независимо от устройства и контекста, путем тщательного смешивания битов входных данных.

Если вы хотите замаскировать хэшированный вывод, вы также можете передать аргумент salt в конструкторе. В этом случае слой будет использовать хеш-функцию SipHash64, а значение salt будет использоваться как дополнительный вход в хеш-функцию.

Пример (FarmHash64):

layer = tf.keras.layers.experimental.preprocessing.Hashing(num_bins=3)
inp = [['A'], ['B'], ['C'], ['D'], ['E']]
layer(inp)
<tf.Tensor: shape=(5, 1), dtype=int64, numpy=
  array([[1],
         [0],
         [1],
         [1],
         [2]])>

Пример (FarmHash64) со списком входных данных:

>>> layer = tf.keras.layers.experimental.preprocessing.Hashing(num_bins=3)
>>> inp_1 = [['A'], ['B'], ['C'], ['D'], ['E']]
>>> inp_2 = np.asarray([[5], [4], [3], [2], [1]])
>>> layer([inp_1, inp_2])
<tf.Tensor: shape=(5, 1), dtype=int64, numpy=
  array([[1],
         [1],
         [0],
         [2],
         [0]])>

Пример (SipHash64):

layer = tf.keras.layers.experimental.preprocessing.Hashing(num_bins=3,
   salt=[133, 137])
inp = [['A'], ['B'], ['C'], ['D'], ['E']]
layer(inp)
<tf.Tensor: shape=(5, 1), dtype=int64, numpy=
  array([[1],
         [2],
         [1],
         [0],
         [2]])>

Пример (Siphash64 с одним целым числом, такой же как salt=[133, 133]

layer = tf.keras.layers.experimental.preprocessing.Hashing(num_bins=3,
   salt=133)
inp = [['A'], ['B'], ['C'], ['D'], ['E']]
layer(inp)
<tf.Tensor: shape=(5, 1), dtype=int64, numpy=
  array([[0],
         [0],
         [2],
         [1],
         [0]])>

Ссылка: SipHash с солью

Форма входных данных: Одна или список строк, int32 или int64 Tensor, SparseTensor или RaggedTensor формы [batch_size, ...,]

Форма выходных данных: int64 Tensor, SparseTensor или RaggedTensor формы [batch_size, ...]. Если любой вход RaggedTensor то выход RaggedTensor, в противном случае, если любой вход SparseTensor то выход SparseTensor, в противном случае выход Tensor.

Методы

adapt

Просмотреть исходный код

adapt(
    data, reset_state=True
)

Подгоняет состояние слоя предобработки к передаваемым данным.