TunableOp

Раздельное включение TunableOp и настройки

Функция TunableOp включается отдельно от самого этапа настройки. Включение TunableOp означает, что PyTorch заменит все стандартные операторы их настраиваемыми реализациями. При каждом вызове TunableOp сначала проверяется, выполнялась ли настройка для заданных входных данных оператора. Если да, сразу вызывается настроенная операция; дальнейшая настройка не выполняется, даже если параметр настройки включен. Если же результат настройки не найден и настройка включена, TunableOp проверит производительность всех зарегистрированных реализаций этого оператора для заданного набора входных данных и выберет самую быструю.

Ввод и вывод файлов

При первом вызове любого TunableOp будет подготовлена внутренняя база данных настроенных операций: система попытается прочитать результаты из указанного файла. Имя файла по умолчанию — ‘tunableop_results.csv’. Чтобы поддержать настройку при использовании нескольких GPU в нескольких процессах, порядковый номер устройства GPU автоматически добавляется к имени файла, чтобы процессы не перезаписывали один и тот же файл.

Если настройка включена и во время выполнения рабочей нагрузки обнаружены новые настройки, они также будут записаны в этот же файл вместе со всеми настройками: как прочитанными при запуске, так и найденными во время выполнения. Например, так можно постепенно собрать файл настроек для нескольких рабочих нагрузок, повторно используя один и тот же файл. Выходной файл создается автоматически при завершении приложения. Этим поведением можно управлять с помощью API C++ и Python, но не с помощью переменных среды.

Если вы указали имя файла, в итоге будет создан CSV-файл с содержимым примерно такого вида:

Validator,PT_VERSION,2.2.0
Validator,ROCM_VERSION,6.0.0.0-12969-1544e39
Validator,HIPBLASLT_VERSION,0.6.0-a9c5cc7
Validator,ROCBLAS_VERSION,4.0.0-72e57364-dirty
GemmTunableOp_float_NT,nt_25088_4096_64,Gemm_Hipblaslt_1219,1.262
GemmTunableOp_float_NT,nt_4096_4096_64,Gemm_Rocblas_1216,0.033

Обратите внимание на строки “Validator”. Если вы измените версию библиотеки, ROCm или PyTorch, TunableOp обнаружит это и отклонит файл настроек, поскольку на предыдущие настройки, вероятно, повлияли другие изменения программного обеспечения.

В остальных строках содержатся настроенные решения для каждого TunableOp, встреченного во время выполнения. Каждая строка состоит из 4 полей, разделенных запятыми: имя оператора, параметры оператора, имя решения и среднее время выполнения. Время выполнения — необязательное поле. CSV-файл можно редактировать, но делать это следует осторожно. Например, имя решения (поле 3) можно заменить на “Default”, и тогда будет использоваться исходная, не настроенная реализация PyTorch. Для библиотек hipBLAS или hipBLASLt в ROCm, если вам известен индекс конкретного решения, можно переопределить выбранное TunableOp решение, заменив соответствующее значение. Имена оператора и его параметры (поля 1 и 2) задаются внутри системы и не должны изменяться. В случае GemmTunableOp поле 1 указывает тип данных и то, транспонированы ли входные данные (T) или нет (N), а поле 2 указывает размеры входных данных M, N, K.

Можно включить подробный вывод, но он рекомендуется только для отладки. При этом будет выведено множество диагностических сообщений, которые могут помочь понять, используется ли вообще TunableOp. В остальных случаях TunableOp работает полностью без вывода, за исключением записи в файл, если при его использовании не возникает предупреждения или ошибки. Подробный вывод можно включить только с помощью переменной среды PYTORCH_TUNABLEOP_VERBOSE=1.

Примечание о поведении настройки, прогреве и влиянии кэша

Настройка оператора заключается в переборе списка зарегистрированных реализаций и профилировании каждой из них. Профиль формируется путем многократного выполнения одной реализации в цикле и вычисления среднего времени выполнения. Перед настройкой также можно выполнить необязательный этап прогрева, который помогает оборудованию достичь стабильных режимов энергопотребления. Во время настройки рабочей нагрузки попадания в различные аппаратные кэши будут происходить чаще, чем при отсутствии настройки. Предусмотрены параметры для очистки кэша инструкций и циклической смены входных тензоров; это может помочь получить более точный профиль настроенного оператора, соответствующий его работе в составе большой рабочей нагрузки, а не в тесном повторяющемся цикле.

По умолчанию каждое возможное решение для заданного оператора выполняется либо 100 итераций, либо столько итераций, сколько можно выполнить за 30 мс, в зависимости от того, какое значение меньше; затем вычисляется среднее время выполнения. Выбирается самое быстрое из всех решений, профилирование которых завершилось успешно. Профилирование может завершиться неудачей, если заданное решение не обеспечивает точность, равную точности реализации по умолчанию, или возвращает код ошибки.

Поддержка CUDA cuBLASLt использует кэш результатов TunableOp и механизм профилирования для замера времени настраиваемого числа эвристических кандидатов cuBLASLt.

Текущие настраиваемые операторы

Автономная настройка

export PYTORCH_TUNABLEOP_ENABLED=1
export PYTORCH_TUNABLEOP_TUNING=0
export PYTORCH_TUNABLEOP_RECORD_UNTUNED=1
...

import torch.cuda.tunable as tunable
import os

os.putenv("PYTORCH_TUNABLEOP_ENABLED", "1")
os.putenv("PYTORCH_TUNABLEOP_TUNING", "1")
os.putenv("PYTORCH_TUNABLEOP_RECORD_UNTUNED", "0")
tunable.tune_gemm_in_file("tunableop_untuned0.csv")

if __name__ == "__main__":
    num_gpus = 8  # number of GPUs that will be used during the tuning process
    tunable.mgpu_tune_gemm_in_file("tunableop_untuned?.csv", num_gpus)

Контекст настройки

В настоящее время поведением TunableOp можно управлять с помощью переменных среды, интерфейса C++ at::cuda::tunable::getTuningContext() или интерфейсов Python torch.cuda.tunable. Переменные среды имеют приоритет над любыми параметрами, заданными с помощью API C++ или Python.