tf.raw_ops.StringNGrams
Создает n-граммы из строковых данных с нерегулярной структурой.
tf.raw_ops.StringNGrams(
data,
data_splits,
separator,
ngram_widths,
left_pad,
right_pad,
pad_width,
preserve_short_sequences,
name=None
)
Эта операция принимает разреженный тензор с одним разреженным измерением, содержащий только строки, и возвращает разреженный тензор с одним разреженным измерением, содержащий n-граммы этой строки, объединенные вдоль внутренней оси.
| Аргументы | |
|---|---|
data | Tensor типа string. Тензор значений разреженного строкового тензора, из которого нужно создать n-граммы. Должен быть одномерным строковым тензором. |
data_splits | Tensor. Должен иметь один из следующих типов: int32, int64. Тензор разбиений разреженного строкового тензора, из которого нужно создать n-граммы. |
separator | string. Строка, добавляемая между элементами токена. Используйте "" для отсутствия разделителя. |
ngram_widths | Список ints. Размеры создаваемых n-грамм. |
left_pad | string. Строка для дополнения левой стороны последовательности n-грамм. Используется только при pad_width != 0. |
right_pad | string. Строка для дополнения правой стороны последовательности n-грамм. Используется только при pad_width != 0. |
pad_width | int. Количество элементов дополнения, добавляемых с каждой стороны каждой последовательности. Обратите внимание: независимо от этого значения ширина дополнения никогда не будет превышать 'ngram_widths'-1. Если pad_width=-1, добавляются max(ngram_widths)-1 элементов. |
preserve_short_sequences | bool. |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Кортеж из объектов Tensor (ngrams, ngrams_splits). | |
ngrams | Tensor типа string. |
ngrams_splits | Tensor. Имеет тот же тип, что и data_splits. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/StringNGrams