torch.cuda.memory.host_memory_stats

torch.cuda.memory.host_memory_stats() [исходный код]

Возвращает словарь статистики распределителя закрепленной памяти (хостовой памяти).

Основная статистика (распределитель закрепленной памяти хоста):

• "allocations.{current,peak,allocated,freed}": закрепленные блоки, принадлежащие распределителю (активные + кэшированные). Значение увеличивается при создании нового блока через CUDA и уменьшается при возврате кэшированных блоков.
• "allocated_bytes.{current,peak,allocated,freed}": размер в байтах закрепленных блоков, принадлежащих распределителю (активных + кэшированных), с учетом округленного размера блока, запрошенного у CUDA.
• "active_requests.{current,peak,allocated,freed}": блоки, в настоящее время выданные вызывающему коду (значение увеличивается при выдаче и уменьшается, когда блок можно повторно использовать после завершения зависимостей потоков).
• "active_bytes.{current,peak,allocated,freed}": размер в байтах, соответствующий активным блокам.

Тип метрики:

• current: текущее значение.
• peak: максимальное значение.
• allocated: историческое суммарное увеличение.
• freed: историческое суммарное уменьшение.

Счетчики событий и времени:

• "num_host_alloc" / "num_host_free": блоки, созданные для увеличения пула / кэшированные блоки, возвращенные CUDA (соответствует выделенным и освобожденным блокам).
• "host_alloc_time.{total,max,min,count,avg}": время выполнения вызовов выделения памяти CUDA при увеличении пула (микросекунды).
• "host_free_time.{total,max,min,count,avg}": время выполнения вызовов освобождения памяти CUDA при возврате кэшированных блоков (микросекунды).

Перед вызовом CUDA размеры блоков округляются вверх до ближайшей степени двойки, поэтому статистика в байтах отражает округленный размер. Пиковые значения агрегируются по сегментам и представляют собой приближенную оценку фактического пика.

Тип возвращаемого значения:

dict[str, Any]