tf.strings.ngrams

Создаёт тензор n-грамм на основе data.

tf.strings.ngrams(
    data, ngram_width, separator=' ', pad_values=None, padding_width=None,
    preserve_short_sequences=False, name=None
)

Создаёт тензор n-грамм на основе data. N-граммы создаются путём объединения окон из width смежных строк из внутреннего осей data с использованием separator.

Входные данные могут быть дополнены как в начале, так и в конце последовательности, если это необходимо, с помощью аргумента pad_values. Если он установлен, pad_values должен содержать либо кортеж строк, либо одну строку; 0-й элемент кортежа будет использован для дополнения левой стороны последовательности, а 1-й элемент кортежа — для дополнения правой стороны последовательности. Аргумент padding_width управляет количеством добавляемых значений дополнения с каждой стороны; по умолчанию он равен ngram_width-1.

Если данная операция настроена так, чтобы не использовать дополнение, или если она настроена добавлять дополнение с padding_width, установленным меньше, чем ngram_width-1, то возможно, что последовательность или последовательность с добавленным дополнением будет меньше, чем ширина n-граммы. В этом случае для этой последовательности не будет сгенерировано ни одной n-граммы. Это можно предотвратить, установив preserve_short_sequences, что заставит операцию всегда генерировать по крайней мере одну n-грамму для каждой непустой последовательности.