tf.data.experimental.service.DispatcherConfig

Класс конфигурации для диспетчеров службы tf.data.

tf.data.experimental.service.DispatcherConfig(
    port=0,
    protocol=None,
    work_dir=None,
    fault_tolerant_mode=False,
    worker_addresses=None,
    job_gc_check_interval_ms=None,
    job_gc_timeout_ms=None
)

Поля:

• port: Указывает порт для привязки. Значение 0 указывает, что сервер может привязаться к любому доступному порту.
• protocol: Протокол для связи со службой tf.data, например, "grpc".
• work_dir: Каталог для хранения состояния диспетчера. Этот параметр необходим для возможности восстановления диспетчера после перезапуска.
• fault_tolerant_mode: Нужно ли диспетчеру записывать своё состояние в журнал, чтобы он мог восстановиться после перезапуска. Состояние диспетчера, включая зарегистрированные наборы данных и созданные задачи, синхронно записывается в журнал перед ответом на запросы RPC. Если True, work_dir также должны быть указаны.
• worker_addresses: Если задача использует автоматическое фрагментирование, ей необходимо указать фиксированный список адресов рабочих узлов, которые зарегистрируются у диспетчера. Адреса рабочих узлов должны быть в формате "host" или "host:port", где "port" — целое число, имя порта или %port% для соответствия любому порту.
• job_gc_check_interval_ms: Как часто диспетчер должен сканировать для удаления устаревших и неиспользуемых задач в миллисекундах. Если не задано, среда выполнения выберет разумное значение по умолчанию. Более высокое значение уменьшит нагрузку на диспетчер, а более низкое значение уменьшит время, необходимое диспетчеру для удаления просроченных задач.
• job_gc_timeout_ms: Сколько времени задача должна быть неиспользуемой, прежде чем станет кандидатом для удаления, в миллисекундах. Значение -1 означает, что задачи никогда не будут удаляться. Если не задано, среда выполнения выберет разумное значение по умолчанию. Более высокое значение приведет к тому, что задачи будут оставаться дольше без потребителей. Это полезно, если есть большой временной разрыв между моментами, когда потребители считывают данные из задачи. Более низкое значение сократит время, необходимое для освобождения ресурсов из устаревших задач.