tf.strings.ngrams

Создает тензор n-грамм на основе data.

tf.strings.ngrams(
    data,
    ngram_width,
    separator=' ',
    pad_values=None,
    padding_width=None,
    preserve_short_sequences=False,
    name=None
)

Создает тензор n-грамм на основе data. N-граммы создаются путем объединения окон из width соседних строк внутренней оси data с помощью separator.

При необходимости входные данные можно дополнить в начале и в конце последовательности с помощью аргумента pad_values. Если он задан, pad_values должен содержать либо кортеж строк, либо одну строку; нулевой элемент кортежа будет использоваться для дополнения левой стороны последовательности, а первый элемент кортежа — для дополнения правой стороны последовательности. Аргумент padding_width задает количество добавляемых с каждой стороны значений дополнения; по умолчанию используется ngram_width-1.

Если эта операция настроена без дополнения или если задано дополнение, а значение padding_width меньше ngram_width-1, последовательность либо последовательность вместе с дополнением может быть короче ширины n-граммы. В этом случае для такой последовательности n-граммы создаваться не будут. Этого можно избежать, задав preserve_short_sequences: тогда операция всегда будет создавать как минимум одну n-грамму для каждой непустой последовательности.

Примеры:

tf.strings.ngrams(["A", "B", "C", "D"], 2).numpy()
array([b'A B', b'B C', b'C D'], dtype=object)
tf.strings.ngrams(["TF", "and", "keras"], 1).numpy()
array([b'TF', b'and', b'keras'], dtype=object)