tf.data.experimental.service.DispatcherConfig
Класс конфигурации для диспетчеров tf.data service.
tf.data.experimental.service.DispatcherConfig(
port=0,
protocol=None,
work_dir=None,
fault_tolerant_mode=False,
worker_addresses=None,
job_gc_check_interval_ms=None,
job_gc_timeout_ms=None,
worker_timeout_ms=None,
worker_max_concurrent_snapshots=0
)
| Поля | |
|---|---|
port | Указывает порт для привязки. Значение 0 означает, что сервер может привязаться к любому доступному порту. |
protocol | Протокол для обмена данными с tf.data service, например «grpc». |
work_dir | Каталог для хранения состояния диспетчера. Этот аргумент обязателен, чтобы диспетчер мог восстановиться после перезапуска. |
fault_tolerant_mode | Следует ли диспетчеру записывать свое состояние в журнал, чтобы иметь возможность восстановиться после перезапуска. Состояние диспетчера, включая зарегистрированные наборы данных и созданные задания, синхронно записывается в журнал перед отправкой ответов на вызовы RPC. Если True, необходимо также указать work_dir. |
worker_addresses | Если в задании используется автошардирование, необходимо указать фиксированный список адресов рабочих процессов, которые будут зарегистрированы у диспетчера. Адреса рабочих процессов должны иметь формат "host" или "host:port", где "port" — это целое число, именованный порт или %port% для соответствия любому порту. |
job_gc_check_interval_ms | Интервал, с которым диспетчер должен проверять наличие старых неиспользуемых заданий для удаления, в миллисекундах. Если значение не задано, среда выполнения выберет подходящее значение по умолчанию. Более высокое значение снизит нагрузку на диспетчер, а более низкое сократит время, необходимое диспетчеру для очистки устаревших заданий. |
job_gc_timeout_ms | Время, в течение которого задание должно оставаться неиспользуемым, прежде чем оно станет кандидатом на очистку, в миллисекундах. Значение -1 означает, что задания никогда не должны удаляться при очистке. Если значение не задано, среда выполнения выберет подходящее значение по умолчанию. При более высоком значении задания будут дольше сохраняться без потребителей. Это полезно, если между чтениями данных из задания потребителями проходит большой промежуток времени. Более низкое значение сократит время, необходимое для освобождения ресурсов устаревших заданий. |
worker_timeout_ms | Время ожидания сигнала heartbeat от рабочего процесса, по истечении которого он считается недоступным. Если значение не задано, среда выполнения выберет подходящее значение по умолчанию. |
worker_max_concurrent_snapshots | Максимальное количество снимков, которые рабочий процесс может обрабатывать одновременно. |
| Атрибуты | |
|---|---|
port | Псевдоним namedtuple для поля с номером 0 |
protocol | Псевдоним namedtuple для поля с номером 1 |
work_dir | Псевдоним namedtuple для поля с номером 2 |
fault_tolerant_mode | Псевдоним namedtuple для поля с номером 3 |
worker_addresses | Псевдоним namedtuple для поля с номером 4 |
job_gc_check_interval_ms | Псевдоним namedtuple для поля с номером 5 |
job_gc_timeout_ms | Псевдоним namedtuple для поля с номером 6 |
worker_timeout_ms | Псевдоним namedtuple для поля с номером 7 |
worker_max_concurrent_snapshots | Псевдоним namedtuple для поля с номером 8 |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/service/DispatcherConfig