tf.strings.ngrams

Создать тензор n-грамм на основе data.

tf.strings.ngrams(
    data, ngram_width, separator=' ', pad_values=None, padding_width=None,
    preserve_short_sequences=False, name=None
)

Создаёт тензор n-грамм на основе data. N-граммы создаются путём объединения окон из width смежных строк из внутреннего осей data с использованием separator.

Входные данные могут быть дополнены как в начале, так и в конце последовательности, если необходимо, с помощью аргумента pad_values. Если он установлен, pad_values должен содержать либо кортеж строк, либо одну строку; 0-й элемент кортежа будет использоваться для дополнения левой стороны последовательности, а 1-й элемент кортежа — для дополнения правой стороны последовательности. Аргумент padding_width управляет тем, сколько значений заполнения добавляется к каждой стороне; по умолчанию он равен ngram_width-1.

Если этот оператор настроен на отсутствие дополнений или если он настроен на добавление дополнений с padding_width, значение которого меньше, чем ngram_width-1, возможно, что последовательность или последовательность с дополнениями меньше, чем ширина n-граммы. В этом случае n-граммы для этой последовательности не будут сгенерированы. Это можно предотвратить, установив preserve_short_sequences, что заставит оператор всегда генерировать по крайней мере одну n-грамму на непустую последовательность.

Примеры:

tf.strings.ngrams(["A", "B", "C", "D"], 2).numpy()
array([b'A B', b'B C', b'C D'], dtype=object)
tf.strings.ngrams(["TF", "and", "keras"], 1).numpy()
array([b'TF', b'and', b'keras'], dtype=object)