torch.accelerator.memory.memory_stats

torch.accelerator.memory.memory_stats(device_index=None, /) [исходный код]

Возвращает словарь статистики распределителя памяти устройства-ускорителя для заданного индекса устройства.

Эта функция возвращает словарь статистики, каждое значение в котором является неотрицательным целым числом.

Основная статистика:

• "allocated.{all,large_pool,small_pool}.{current,peak,allocated,freed}": количество запросов на выделение памяти, полученных распределителем памяти.
• "allocated_bytes.{all,large_pool,small_pool}.{current,peak,allocated,freed}": объем выделенной памяти.
• "segment.{all,large_pool,small_pool}.{current,peak,allocated,freed}": количество зарезервированных сегментов памяти устройства.
• "reserved_bytes.{all,large_pool,small_pool}.{current,peak,allocated,freed}": объем зарезервированной памяти.
• "active.{all,large_pool,small_pool}.{current,peak,allocated,freed}": количество активных блоков памяти.
• "active_bytes.{all,large_pool,small_pool}.{current,peak,allocated,freed}": объем активной памяти.
• "inactive_split.{all,large_pool,small_pool}.{current,peak,allocated,freed}": количество неактивных, неосвобождаемых блоков памяти.
• "inactive_split_bytes.{all,large_pool,small_pool}.{current,peak,allocated,freed}": объем неактивной, неосвобождаемой памяти.

Для этой основной статистики значения распределяются следующим образом.

Тип пула:

• all: совокупная статистика по всем пулам памяти.
• large_pool: статистика для пула крупных выделений (по состоянию на июнь 2025 года — для выделений размером >= 1MB).
• small_pool: статистика для пула небольших выделений (по состоянию на июнь 2025 года — для выделений размером < 1MB).

Тип метрики:

• current: текущее значение этой метрики.
• peak: максимальное значение этой метрики.
• allocated: исторический суммарный рост значения этой метрики.
• freed: историческое суммарное снижение значения этой метрики.

В дополнение к основной статистике также предоставляются простые счетчики событий:

• "num_alloc_retries": количество неудачных вызовов выделения памяти устройства, приводящих к очистке кэша и повторной попытке.
• "num_ooms": количество ошибок нехватки памяти.
• "num_sync_all_streams": количество вызовов synchronize_and_free_events.
• "num_device_alloc": количество вызовов выделения памяти устройства.
• "num_device_free": количество вызовов освобождения памяти устройства.

Параметры:

device_index (torch.device, str, int, необязательный) – индекс целевого устройства. Если не указан, по умолчанию используется torch.accelerator.current_device_index(). Если указано значение torch.device или str, его тип должен соответствовать типу текущего устройства ускорителя.

Возвращает:

упорядоченный словарь, сопоставляющий имена статистических показателей с их значениями.

Тип возвращаемого значения:

OrderedDict[str, Any]