Связки связи DDP

Состояние PowerSGD

class torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.PowerSGDState(process_group, matrix_approximation_rank=1, start_powerSGD_iter=1000, min_compression_rate=2, use_error_feedback=True, warm_start=True, orthogonalization_epsilon=0, random_seed=0, compression_stats_logging_frequency=10000, batch_tensors_with_same_shape=False) [source]

Хранит гиперпараметры алгоритма и внутреннее состояние для всех градиентов во время обучения. В частности, matrix_approximation_rank и start_powerSGD_iter являются основными гиперпараметрами, которые должны быть настроены пользователем. Для повышения производительности рекомендуется удерживать бинарные гиперпараметры use_error_feedback и warm_start включёнными.

1. matrix_approximation_rank контролирует размер сжатых тензоров низкого ранга, что определяет скорость сжатия. Чем ниже ранг, тем сильнее сжатие.

   1.1. Если matrix_approximation_rank слишком низкий, для достижения качества полной модели потребуется больше шагов обучения или она вообще его не достигнет, что приведёт к потере точности.

   1.2. Увеличение matrix_approximation_rank существенно увеличивает вычислительные затраты на сжатие, и точность может больше не улучшиться за определённым порогом matrix_approximation_rank.

Для настройки matrix_approximation_rank, рекомендуется начинать с 1 и увеличивать с коэффициентом 2 (как экспоненциальный поиск по сетке, 1, 2, 4, …), пока не будет достигнута удовлетворительная точность. Как правило, используется небольшое значение 1-4. Для некоторых задач NLP (как показано в приложении D исходной статьи) это значение было увеличено до 32.

2. start_powerSGD_iter откладывает сжатие PowerSGD до шага start_powerSGD_iter, а обычное allreduce выполняется до шага start_powerSGD_iter. Эта гибридная схема обычного allreduce + PowerSGD может эффективно повысить точность, даже если используется относительно малое значение matrix_approximation_rank. Это связано с тем, что начальная фаза обучения обычно очень чувствительна к неточным градиентам, а сжатие градиентов слишком рано может заставить обучение быстро принять не оптимальную траекторию, что может привести к необратимому влиянию на точность.

Для настройки start_powerSGD_iter, рекомендуется начинать с 10% от общего числа шагов обучения и увеличивать его до достижения удовлетворительной точности. Если в обучении есть этап разогрева, start_powerSGD_iter обычно не должен быть меньше числа шагов разогрева.

3. min_compression_rate — минимальная требуемая скорость сжатия, когда слой сжимается. Из-за вычислительных накладных расходов на сжатие, тензор стоит сжимать только если можно получить существенную экономию пропускной способности, где (num_rows + num_cols) * matrix_approximation_rank * min_compression_rate < num_rows * num_cols. Если заданный пороговый уровень сжатия не может быть удовлетворён, тензор будет напрямую allreduce без сжатия.

Статистика сжатия регистрируется каждые compression_stats_logging_frequency итераций после начала сжатия PowerSGD.

4. orthogonalization_epsilon может быть очень малым значением (например, 1e-8), которое добавляется к каждому нормализованному столбцу матрицы на шаге ортогонализации, чтобы предотвратить ошибку деления на ноль, если какой-либо столбец имеет все нули. Если это уже можно предотвратить (например, с помощью нормализации по батчу), рекомендуется использовать эпсилон 0 для точности.
5. batch_tensors_with_same_shape управляет тем, сжимать и распаковывать тензоры с одинаковой формой в пакетной операции, чтобы достичь большей параллельности. Обратите внимание, что вы также должны увеличить размер корзины (то есть аргумент bucket_cap_mb в конструкторе DDP), чтобы больше тензоров с одинаковой формой появлялось в одной корзине, однако это может уменьшить перекрытие между вычислениями и коммуникацией и увеличить объём памяти из-за стекирования тензоров с одинаковой формой. Установите значение True если вычисления по сжатию/распаковке являются узким местом.

Предупреждение

Если включена обратная связь об ошибках или разогрев, минимальное разрешённое значение start_powerSGD_iter в DDP равно 2. Это связано с тем, что существует другая внутренняя оптимизация, которая перестраивает корзины на итерации 1 в DDP, и это может вступать в конфликт с любым тензором, запомненным до процесса перестройки.

Схемы PowerSGD

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.powerSGD_hook(state, bucket) [source]

Данная схема связи DDP реализует алгоритм сжатия градиентов PowerSGD, описанный в статье. После агрегирования тензоров градиентов на всех рабочих узлах, эта схема применяет сжатие следующим образом:

1. Представляет входной сглаженный тензор градиента размерности 1D как список тензоров на параметр и делит все тензоры на две группы:

   1.1 Тензоры, которые должны быть сжаты перед allreduce, так как сжатие может обеспечить достаточную экономию полосы пропускания.

   1.2 Остальные тензоры будут напрямую allreduce без сжатия, включая все векторные тензоры (для смещений).

2. Обрабатывает несжатые тензоры:

   2.1 Выделяет непрерывную память для этих несжатых тензоров и выполняет allreduce всех несжатых тензоров как группы без сжатия;

   2.2 Копирует отдельные несжатые тензоры из непрерывной памяти обратно в входной тензор.

3. Обрабатывает тензоры, которые должны быть сжаты с помощью сжатия PowerSGD:

   3.1 Для каждого тензора M создаёт два тензора низкого ранга P и Q для разложения M, так что M = PQ^T, где Q инициализируется из стандартного нормального распределения и ортогонализируется;

   3.2 Вычисляет каждый P в Ps, который равен MQ;

   3.3 Выполняет allreduce Ps как группу;

   3.4 Ортогонализирует каждый P в Ps;

   3.5 Вычисляет каждый Q в Qs, который приблизительно равен M^TP;

   3.6 Выполняет allreduce Qs как группу;

   3.7 Вычисляет каждый M среди всех сжатых тензоров, который приблизительно равен PQ^T.

Обратите внимание, что эта схема связи применяет стандартный allreduce для первых state.start_powerSGD_iter итераций. Это не только предоставляет пользователю больший контроль над компромиссом между ускорение и точность, но и помогает абстрагировать некоторую сложность внутренней оптимизации DDP для разработчиков будущих схем связи.

Параметры:

• state (PowerSGDState) – Информация о состоянии для настройки коэффициента сжатия и поддержки обратной связи об ошибках, запуска с предыдущих данных и т. д. Для настройки параметров сжатия необходимо в основном настроить matrix_approximation_rank, start_powerSGD_iter и min_compression_rate.
• bucket (dist.GradBucket) – Бакет, хранящий сглаженный тензор градиента 1D, который группирует несколько тензоров на переменную. Обратите внимание, что, поскольку схема связи DDP поддерживает только режим одного процесса и одного устройства, в этом бакете хранится ровно один тензор.

Возвращаемое значение:

Обработчик будущего связи, который обновляет градиенты на месте.

Тип возвращаемого значения:

Future[Tensor]

Пример::

>>> state = PowerSGDState(process_group=process_group, matrix_approximation_rank=1,
                          start_powerSGD_iter=10, min_compression_rate=0.5)
>>> ddp_model.register_comm_hook(state, powerSGD_hook)

torch.distributed.algorithms.ddp_comm_hooks.powerSGD_hook.batched_powerSGD_hook(state, bucket) [source]

Данная схема связи DDP реализует упрощённый алгоритм сжатия градиентов PowerSGD, описанный в статье. Этот вариант не сжимает градиенты по слоям, а вместо этого сжимает входной сглаженный тензор, который объединяет все градиенты. Поэтому он быстрее, чем powerSGD_hook(), но обычно приводит к намного меньшей точности, если matrix_approximation_rank равно 1.

Предупреждение

Увеличение значения matrix_approximation_rank здесь может не обязательно повысить точность, потому что объединение тензоров на параметр без выравнивания столбцов/строк может нарушить структуру низкого ранга. Поэтому пользователь должен всегда рассматривать powerSGD_hook() в первую очередь и рассматривать только этот вариант, когда удовлетворительная точность достигается, когда matrix_approximation_rank равно 1.

После агрегирования тензоров градиентов на всех рабочих узлах, эта схема применяет сжатие следующим образом:

1. Представляет входной сглаженный тензор градиента как квадратный тензор M с нулевыми заполнениями;
2. Создаёт два тензора низкого ранга P и Q для разложения M, так что M = PQ^T, где Q инициализируется из стандартного нормального распределения и ортогонализируется;
3. Вычисляет P, который равен MQ;
4. Выполняет allreduce P;
5. Ортогонализирует P;
6. Вычисляет Q, который приблизительно равен M^TP;
7. Выполняет allreduce Q;
8. Вычисляет M, который приблизительно равен PQ^T.
9. Обрезает входной тензор до исходной длины.

Обратите внимание, что эта схема связи применяет стандартный allreduce для первых state.start_powerSGD_iter итераций. Это не только предоставляет пользователю больший контроль над компромиссом между ускорение и точность, но и помогает абстрагировать некоторую сложность внутренней оптимизации DDP для разработчиков будущих схем связи.

Параметры:

• state (PowerSGDState) – Информация о состоянии для настройки коэффициента сжатия и поддержки обратной связи об ошибках, запуска с предыдущих данных и т. д. Для настройки параметров сжатия необходимо в основном настроить matrix_approximation_rank и start_powerSGD_iter.
• bucket (dist.GradBucket) – Бакет, хранящий сглаженный тензор градиента 1D, который группирует несколько тензоров на переменную. Обратите внимание, что, поскольку схема связи DDP поддерживает только режим одного процесса и одного устройства, в этом бакете хранится ровно один тензор.

Возвращаемое значение:

Обработчик будущего связи, который обновляет градиенты на месте.

Тип возвращаемого значения:

Future[Tensor]

Пример::

>>> state = PowerSGDState(process_group=process_group, matrix_approximation_rank=1)
>>> ddp_model.register_comm_hook(state, batched_powerSGD_hook)

Отладка схем связи

Как следует из названия, отладка схем связи только используется для целей отладки и оптимизации производительности.

torch.distributed.algorithms.ddp_comm_hooks.debugging_hooks.noop_hook(_, bucket) [source]

Данная схема связи DDP возвращает будущее, которое оборачивает входной объект, поэтому это операция бездействия, которая не требует расходов на связь.

Эта схема только должна использоваться для анализа возможностей allreduce оптимизации, а не для нормальной синхронизации градиентов. Например, если после регистрации этой схемы наблюдается ускорение обучения менее чем на 10%, это обычно означает, что allreduce не является узким местом для этого случая. Такая инструментация может быть особенно полезной, если трассировки GPU трудно получить или анализ трассировки усложняется такими факторами, как перекрытие allreduce и вычислений или десинхронизация между рангами.

Пример::

>>> ddp_model.register_comm_hook(None, noop_hook)

Тип возвращаемого значения:

Future[Tensor]