torch.nn.functional.kl_div

torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False) [source]

Потеря расхождения Кульбака-Лейблера

Подробнее см. KLDivLoss.

Параметры

• input (Тензор) – Тензор произвольной формы в логарифмических вероятностя х.
• target (Тензор) – Тензор той же формы, что и входной. См. log_target для интерпретации целевого значения.
• size_average (bool, необязательно) – Устаревший параметр (см. reduction). По умолчанию потери усредняются по каждому элементу потерь в батче. Обратите внимание, что для некоторых потерь может быть несколько элементов на образец. Если поле size_average установлено в False, потери суммируются для каждого мини-батча. Игнорируется, когда reduce равен False. Значение по умолчанию: True
• reduce (bool, необязательно) – Устаревший параметр (см. reduction). По умолчанию потери усредняются или суммируются по наблюдениям для каждого мини-батча в зависимости от size_average. Когда reduce равен False, возвращает потерю на элемент батча вместо этого и игнорирует size_average. Значение по умолчанию: True
• reduction (str, необязательно) – Указывает, какое сокращение применить к выводу: 'none' | 'batchmean' | 'sum' | 'mean'. 'none': не будет применено сокращение 'batchmean': сумма вывода будет разделена на размер батча 'sum': вывод будет просуммирован 'mean': вывод будет разделен на количество элементов в выводе Значение по умолчанию: 'mean'
• log_target (bool) – Флаг, указывающий, что target передаётся в логарифмическом пространстве. Рекомендуется передавать некоторые распределения (например, softmax) в логарифмическом пространстве, чтобы избежать численных проблем, вызванных явным log. Значение по умолчанию: False

Тип возвращаемого значения

Тензор

Примечание

size_average и reduce находятся в процессе устаревания, и в то же время указание любого из этих двух аргументов переопределит reduction.

Предупреждение

reduction = 'mean' не возвращает истинное значение расхождения Кульбака-Лейблера, используйте reduction = 'batchmean', которое соответствует математическому определению KL.