tf.raw_ops.StringNGrams
Создаёт n-граммы из разрозненных строковых данных.
tf.raw_ops.StringNGrams(
data,
data_splits,
separator,
ngram_widths,
left_pad,
right_pad,
pad_width,
preserve_short_sequences,
name=None
)
Этот оператор принимает разрозненную тензорную переменную с 1 разрозненным измерением, содержащую только строки, и выводит разрозненную тензорную переменную с 1 разрозненным измерением, содержащую n-граммы этой строки, соединённые по самому внутреннему измерению.
| Аргументы | |
|---|---|
data | A Tensor типа string. Тензор значений разрозненной строковой тензорной переменной для создания n-грамм. Должен быть одномерным строковым тензором. |
data_splits | A Tensor. Должен быть одного из следующих типов: int32, int64. Тензор разбиений разрозненной строковой тензорной переменной для создания n-грамм. |
separator | A string. Строка, добавляемая между элементами токена. Используйте "" для отсутствия разделителя. |
ngram_widths | Список ints. Размеры создаваемых n-грамм. |
left_pad | A string. Строка, используемая для заполнения левой части последовательности n-грамм. Используется только если pad_width != 0. |
right_pad | A string. Строка, используемая для заполнения правой части последовательности n-грамм. Используется только если pad_width != 0. |
pad_width | Целое число. Количество элементов заполнения, добавляемых к каждой стороне каждой последовательности. Обратите внимание, что заполнение никогда не будет больше, чем 'ngram_widths'-1, независимо от этого значения. Если pad_width=-1, то добавить max(ngram_widths)-1 элементов. |
preserve_short_sequences | A bool. |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Кортеж из Tensor объектов (ngrams, ngrams_splits). | |
ngrams | A Tensor типа string. |
ngrams_splits | A Tensor. Имеет тот же тип, что и data_splits. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/raw_ops/StringNGrams