tf.strings.ngrams

Создать тензор n-грамм на основе data.

tf.strings.ngrams(
    data,
    ngram_width,
    separator=' ',
    pad_values=None,
    padding_width=None,
    preserve_short_sequences=False,
    name=None
)

Создаёт тензор n-грамм на основе data. N-граммы создаются путём объединения окон из width смежных строк из внутреннего осей data с использованием separator.

Входные данные можно дополнить слева и справа, если это необходимо, с помощью аргумента pad_values. Если задано, pad_values должно содержать либо кортеж строк, либо одну строку; 0-й элемент кортежа будет использован для заполнения левой стороны последовательности, а 1-й элемент кортежа — для заполнения правой стороны. Аргумент padding_width управляет тем, сколько значений заполнения добавляется к каждой стороне; по умолчанию он равен ngram_width-1.

Если этот оператор настроен на отсутствие заполнения или если он настроен на добавление заполнения с padding_width значением меньше, чем ngram_width-1, возможно, что последовательность или последовательность с заполнением меньше, чем ширина n-граммы. В этом случае для этой последовательности не будут сгенерированы никакие n-граммы. Этого можно избежать, задав preserve_short_sequences, что заставит оператор всегда генерировать как минимум одну n-грамму на непустую последовательность.

Примеры:

tf.strings.ngrams(["A", "B", "C", "D"], 2).numpy()
array([b'A B', b'B C', b'C D'], dtype=object)
tf.strings.ngrams(["TF", "and", "keras"], 1).numpy()
array([b'TF', b'and', b'keras'], dtype=object)