Скрипт обучения

Дата создания: 6 мая 2026 г. | Дата последнего обновления: 6 мая 2026 г.

Если ваш скрипт обучения работает с torch.distributed.launch, он продолжит работать с torchrun со следующими отличиями:

1. Не нужно вручную передавать RANK, WORLD_SIZE, MASTER_ADDR и MASTER_PORT.
2. Можно указать rdzv_backend и rdzv_endpoint. Для большинства пользователей здесь будет задано значение c10d (см. Rendezvous). Значение rdzv_backend по умолчанию создает неэластичный rendezvous, в котором rdzv_endpoint содержит адрес главного узла.
3. Убедитесь, что в вашем скрипте предусмотрены логика load_checkpoint(path) и save_checkpoint(path). При сбое любого количества рабочих процессов мы перезапускаем все рабочие процессы с теми же аргументами программы, поэтому вы потеряете весь прогресс с момента последней контрольной точки (см. эластичный запуск).
4. Флаг use_env был удален. Если вы определяли локальный ранг, анализируя параметр --local-rank, теперь необходимо получать локальный ранг из переменной среды LOCAL_RANK (например, int(os.environ["LOCAL_RANK"])).

Ниже приведен пример скрипта обучения, который создает контрольную точку в конце каждой эпохи. Таким образом, в худшем случае при сбое будет потерян прогресс за одну полную эпоху обучения.

  def main():
       args = parse_args(sys.argv[1:])
       state = load_checkpoint(args.checkpoint_path)
       initialize(state)

       # torch.distributed.run ensures that this will work
       # by exporting all the env vars needed to initialize the process group
       torch.distributed.init_process_group(backend=args.backend)

       for i in range(state.epoch, state.total_num_epochs)
            for batch in iter(state.dataset)
                train(batch, state.model)

            state.epoch += 1
            save_checkpoint(state)

Конкретные примеры скриптов обучения, совместимых с torchelastic, см. на странице примеров.