tf.raw_ops.StringNGrams
Создаёт n-граммы из данных разряженных строк.
tf.raw_ops.StringNGrams(
data,
data_splits,
separator,
ngram_widths,
left_pad,
right_pad,
pad_width,
preserve_short_sequences,
name=None
)
Этот оператор принимает разряженный тензор с 1 разряженной размерностью, содержащей только строки, и выводит разряженный тензор с 1 разряженной размерностью, содержащей n-граммы этой строки, соединённые по самой внутренней оси.
| Аргументы | |
|---|---|
data | A Tensor типа string. Tensor значений разряженного тензора строк, из которого необходимо создать n-граммы. Должен быть одномерным тензором строк. |
data_splits | A Tensor. Должен быть одного из следующих типов: int32, int64. Tensor разбиений разряженного тензора строк, из которого необходимо создать n-граммы. |
separator | A string. Строка, которая будет добавляться между элементами токена. Используйте "" для отсутствия разделителя. |
ngram_widths | Список ints. Размеры n-грамм, которые необходимо создать. |
left_pad | A string. Строка, которая будет использоваться для заполнения левой стороны последовательности n-грамм. Используется только если pad_width != 0. |
right_pad | A string. Строка, которая будет использоваться для заполнения правой стороны последовательности n-грамм. Используется только если pad_width != 0. |
pad_width | A int. Количество элементов заполнения, добавляемых к каждой стороне каждой последовательности. Обратите внимание, что заполнение никогда не будет больше, чем 'ngram_widths'-1 независимо от этого значения. Если pad_width=-1, то добавить max(ngram_widths)-1 элементов. |
preserve_short_sequences | A bool. |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Кортеж объектов Tensor (ngrams, ngrams_splits). | |
ngrams | A Tensor типа string. |
ngrams_splits | A Tensor. Имеет тот же тип, что и data_splits. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/StringNGrams