torch.cuda.memory.max_memory_reserved

torch.cuda.memory.max_memory_reserved(device=None) [исходный код]

Возвращает максимальный объем памяти GPU в байтах, управляемый кэшируемым аллокатором для указанного устройства.

По умолчанию возвращается пиковый объем кэшированной памяти с начала работы программы. reset_peak_memory_stats() можно использовать для сброса начальной точки отслеживания этой метрики. Например, эти две функции позволяют измерять пиковый объем кэшированной памяти на каждой итерации цикла обучения.

Параметры:

device (torch.device или int, необязательно) – выбранное устройство. Возвращает статистику для текущего устройства, определяемого функцией current_device(), если device имеет значение None (по умолчанию).

Тип возвращаемого значения:

int

Примечание

Дополнительные сведения об управлении памятью GPU см. в разделе Управление памятью.

Примечание

В PYTORCH_CUDA_ALLOC_CONF=backend:cudaMallocAsync пиковое значение вычисляется как сумма максимальных значений, достигнутых пулом памяти по умолчанию и пулом памяти графа устройства (захваты CUDA-графов резервируют память во втором пуле). Поскольку эти два максимума могут быть достигнуты в разные моменты времени, сообщаемое пиковое значение является консервативной верхней границей истинного одновременного пика. Текущее значение (memory_reserved()) является точным.