tf.strings.ngrams

Создать тензор n-грамм на основе data.

tf.strings.ngrams(
    data,
    ngram_width,
    separator=' ',
    pad_values=None,
    padding_width=None,
    preserve_short_sequences=False,
    name=None
)

Создает тензор n-грамм на основе data. N-граммы создаются путем объединения окон width смежных строк из внутреннего осевого data с помощью separator.

Входные данные могут быть дополнены как в начале, так и в конце последовательности, при необходимости, с помощью аргумента pad_values. Если задано, pad_values должно содержать либо кортеж строк, либо одну строку; 0-й элемент кортежа будет использоваться для заполнения левой части последовательности, а 1-й элемент кортежа будет использоваться для заполнения правой части последовательности. Аргумент padding_width управляет тем, сколько значений заполнения добавляется к каждой стороне; по умолчанию он равен ngram_width-1.

Если данный оператор настроен так, чтобы не использовать заполнение, или если он настроен на добавление заполнения с padding_width, заданным меньше, чем ngram_width-1, возможно, что последовательность или последовательность с заполнением короче, чем ширина ngram. В этом случае для этой последовательности не будут созданы никакие n-граммы. Этого можно избежать, установив preserve_short_sequences, что заставит оператор всегда генерировать по крайней мере одну n-грамму на непустую последовательность.

Примеры:

tf.strings.ngrams(["A", "B", "C", "D"], 2).numpy()
array([b'A B', b'B C', b'C D'], dtype=object)
tf.strings.ngrams(["TF", "and", "keras"], 1).numpy()
array([b'TF', b'and', b'keras'], dtype=object)