tf.compat.v1.nn.ctc_loss

Вычисляет потерю CTC (Connectionist Temporal Classification).

tf.compat.v1.nn.ctc_loss(
    labels, inputs=None, sequence_length=None, preprocess_collapse_repeated=False,
    ctc_merge_repeated=True, ignore_longer_outputs_than_inputs=False,
    time_major=True, logits=None
)

Этот оператор реализует потерю CTC, как представлено в (Graves et al., 2006).

Требования к входным данным:

sequence_length(b) <= time for all b

max(labels.indices(labels.indices[:, 1] == b, 2))
  <= sequence_length(b) for all b.

Примечания:

Этот класс выполняет операцию softmax за вас, поэтому входные данные должны быть, например, линейными проекциями выходов LSTM.

Размер внутреннего измерения inputs тензора, num_classes, представляет num_labels + 1 классов, где num_labels — количество истинных меток, а наибольшее значение (num_classes - 1) зарезервировано для метки пробела.

Например, для словаря, содержащего 3 метки [a, b, c], num_classes = 4 и индексацию меток {a: 0, b: 1, c: 2, blank: 3}.

По поводу аргументов preprocess_collapse_repeated и ctc_merge_repeated:

Если preprocess_collapse_repeated равно True, то перед вычислением потери выполняется предобработка, в которой повторяющиеся метки, переданные в потерю, объединяются в одну метку. Это полезно, если метки обучения получены, например, из принудительных выравниваний и поэтому содержат ненужные повторы.

Если ctc_merge_repeated установлено в False, то внутри вычисления CTC повторяющиеся метки, отличные от пробела, не будут объединены и интерпретируются как отдельные метки. Это упрощенная (нестандартная) версия CTC.

Вот таблица (приблизительного) ожидаемого поведения первого порядка:

preprocess_collapse_repeated=False, ctc_merge_repeated=True

Классическое поведение CTC: выводит истинные повторяющиеся классы с пробелами между ними и также может выводить повторяющиеся классы без пробелов между ними, которые должны быть объединены декодером.
preprocess_collapse_repeated=True, ctc_merge_repeated=False

Никогда не учится выводить повторяющиеся классы, так как они объединяются во входных метках перед обучением.
preprocess_collapse_repeated=False, ctc_merge_repeated=False

Выводит повторяющиеся классы с пробелами между ними, но обычно не требует, чтобы декодер объединял/сливал повторяющиеся классы.
preprocess_collapse_repeated=True, ctc_merge_repeated=True

Не протестировано. Вероятно, не научится выводить повторяющиеся классы.

Вариант ignore_longer_outputs_than_inputs позволяет указать поведение CTCLoss при работе с последовательностями, у которых выходные данные длиннее входных. Если он равен true, CTCLoss просто вернет нулевой градиент для этих элементов, в противном случае возвращается ошибка InvalidArgument, останавливая обучение.

Аргументы
`labels`	`int32` `SparseTensor`. `labels.indices[i, :] == [b, t]` означает, что `labels.values[i]` хранит идентификатор для (пакет b, время t). `labels.values[i]` должно принимать значения в `[0, num_labels)`. См. `core/ops/ctc_ops.cc` для получения дополнительной информации.
`inputs`	3-мерный `float` `Tensor`. Если time_major == False, это будет `Tensor` формы: `[batch_size, max_time, num_classes]`. Если time_major == True (по умолчанию), это будет `Tensor` формы: `[max_time, batch_size, num_classes]`. Логиты.
`sequence_length`	1-мерный `int32` вектор размера `[batch_size]`. Длины последовательностей.
`preprocess_collapse_repeated`	Булево. По умолчанию: False. Если True, повторяющиеся метки объединяются перед вычислением CTC.
`ctc_merge_repeated`	Булево. По умолчанию: True.
`ignore_longer_outputs_than_inputs`	Булево. По умолчанию: False. Если True, последовательности с выходными данными длиннее входных будут игнорироваться.
`time_major`	Формат формы тензоров `inputs`. Если True, эти `Tensors` должны иметь форму `[max_time, batch_size, num_classes]`. Если False, эти `Tensors` должны иметь форму `[batch_size, max_time, num_classes]`. Использование `time_major = True` (по умолчанию) немного эффективнее, так как оно избегает транспонирования в начале вычисления ctc_loss. Однако большинство данных TensorFlow имеют форму пакет-главный порядок, поэтому эта функция также принимает входные данные в форме пакет-главный порядок.
`logits`	Псевдоним для входных данных.

Возвращаемые значения
1-мерный `float` `Tensor`, размера `[batch]`, содержащий отрицательные логарифмы вероятностей.

Исключения
`TypeError`	если labels не является `SparseTensor`.

Ссылки:

Connectionist Temporal Classification - Labeling Unsegmented Sequence Data with Recurrent Neural Networks: Graves et al., 2006 (pdf)

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/nn/ctc_loss