tf.compat.v1.nn.ctc_loss

Вычисляет потерю CTC (Connectionist Temporal Classification).

tf.compat.v1.nn.ctc_loss(
    labels,
    inputs=None,
    sequence_length=None,
    preprocess_collapse_repeated=False,
    ctc_merge_repeated=True,
    ignore_longer_outputs_than_inputs=False,
    time_major=True,
    logits=None
)

Этот оператор реализует потерю CTC, как представлено в (Graves et al., 2006).

Требования к вводу:

sequence_length(b) <= time for all b

max(labels.indices(labels.indices[:, 1] == b, 2))
  <= sequence_length(b) for all b.

Примечания:

Этот класс выполняет для вас операцию softmax, поэтому входные данные должны быть, например, линейными проекциями выходных данных LSTM.

Размер внутреннего измерения тензора inputs, num_classes, представляет num_labels + 1 классов, где num_labels — количество истинных меток, а наибольшее значение (num_classes - 1) зарезервировано для метки пробела.

Например, для словаря, содержащего 3 метки [a, b, c], num_classes = 4 и индексации меток {a: 0, b: 1, c: 2, blank: 3}.

Относительно аргументов preprocess_collapse_repeated и ctc_merge_repeated.

Если preprocess_collapse_repeated имеет значение True, то перед вычислением потери выполняется предварительная обработка, в которой повторяющиеся метки, переданные в потерю, объединяются в единые метки. Это полезно, если обучающие метки получены, например, из принудительных выравниваний и, следовательно, содержат ненужные повторения.

Если ctc_merge_repeated установлено в False, то внутри вычисления CTC повторяющиеся метки, отличные от пробела, не будут объединяться и интерпретируются как отдельные метки. Это упрощенная (нестандартная) версия CTC.

Вот таблица (приближенного) ожидаемого поведения первого порядка:

preprocess_collapse_repeated=False, ctc_merge_repeated=True

Классическое поведение CTC: Выводит истинные повторяющиеся классы с пробелами между ними и может также выводить повторяющиеся классы без пробелов, которые необходимо свернуть декодером.
preprocess_collapse_repeated=True, ctc_merge_repeated=False

Никогда не учится выводить повторяющиеся классы, так как они свернуты в входных метках до обучения.
preprocess_collapse_repeated=False, ctc_merge_repeated=False

Выводит повторяющиеся классы с пробелами между ними, но обычно не требует от декодера свертывать/объединять повторяющиеся классы.
preprocess_collapse_repeated=True, ctc_merge_repeated=True

Не проверено. Очень вероятно, что не будет учиться выводить повторяющиеся классы.

Параметр ignore_longer_outputs_than_inputs позволяет указать поведение CTCLoss при работе со последовательностями, которые имеют более длинные выходные данные, чем входные. Если истинно, CTCLoss просто вернет нулевой градиент для этих элементов, в противном случае возвращается ошибка InvalidArgument, останавливая обучение.

Args
`labels`	`int32` `SparseTensor`. `labels.indices[i, :] == [b, t]` означает, что `labels.values[i]` хранит идентификатор для (пакет b, время t). `labels.values[i]` должен принимать значения в `[0, num_labels)`. См. `core/ops/ctc_ops.cc` для получения более подробной информации.
`inputs`	3-мерный `float` `Tensor`. Если time_major == False, это будет `Tensor` формы: `[batch_size, max_time, num_classes]`. Если time_major == True (по умолчанию), это будет `Tensor` формы: `[max_time, batch_size, num_classes]`. Логиты.
`sequence_length`	1-мерный `int32` вектор, размер `[batch_size]`. Длины последовательностей.
`preprocess_collapse_repeated`	Булево. По умолчанию: False. Если True, повторяющиеся метки сворачиваются перед вычислением CTC.
`ctc_merge_repeated`	Булево. По умолчанию: True.
`ignore_longer_outputs_than_inputs`	Булево. По умолчанию: False. Если True, последовательности с более длинными выходными данными, чем входные, будут игнорироваться.
`time_major`	Формат формы `inputs` тензоров. Если True, эти `Tensors` должны иметь форму `[max_time, batch_size, num_classes]`. Если False, эти `Tensors` должны иметь форму `[batch_size, max_time, num_classes]`. Использование `time_major = True` (по умолчанию) немного эффективнее, потому что оно избегает транспозиций в начале вычисления ctc_loss. Однако большинство данных TensorFlow — пакетно-главные, поэтому эта функция также принимает входные данные в пакетно-главной форме.
`logits`	Псевдоним для входных данных.

Возвращает
1-мерный `float` `Tensor`, размер `[batch]`, содержащий отрицательные логарифмические вероятности.

Возбуждает
`TypeError`	если labels не является `SparseTensor`.

Ссылки:

Connectionist Temporal Classification - Мечение данных последовательностей без сегментации с помощью рекуррентных нейронных сетей: Graves et al., 2006 (pdf)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/nn/ctc_loss