tf.strings.ngrams

Создаёт тензор n-грамм на основе data.

tf.strings.ngrams(
    data, ngram_width, separator=' ', pad_values=None, padding_width=None,
    preserve_short_sequences=False, name=None
)

Создаёт тензор n-грамм на основе data. N-граммы создаются путём объединения окон из width смежных строк из внутреннего осей data с помощью separator.

Входные данные могут быть дополнены как с начала, так и с конца последовательности, если необходимо, с помощью аргумента pad_values. Если задано, pad_values должно содержать либо кортеж строк, либо одну строку; 0-й элемент кортежа будет использоваться для заполнения левой части последовательности, а 1-й элемент кортежа — для заполнения правой части последовательности. Аргумент padding_width управляет тем, сколько значений заполнения добавляется с каждой стороны; по умолчанию он равен ngram_width-1.

Если этот оператор настроен так, чтобы не добавлять заполнения, или если он настроен на добавление заполнения с padding_width меньше, чем ngram_width-1, то возможно, что последовательность или последовательность с заполнением меньше, чем ширина ngram. В этом случае для этой последовательности не будет сгенерировано никаких n-грамм. Это можно предотвратить, задав preserve_short_sequences, что приведет к тому, что оператор всегда будет генерировать по крайней мере одну n-грамму на каждую непустую последовательность.

Примеры:

tf.strings.ngrams(["A", "B", "C", "D"], 2).numpy()
array([b'A B', b'B C', b'C D'], dtype=object)
tf.strings.ngrams(["TF", "and", "keras"], 1).numpy()
array([b'TF', b'and', b'keras'], dtype=object)