модуль community.aws.data_pipeline — создание и управление конвейерами данных AWS

Примечание

Этот модуль входит в коллекцию community.aws (версия 10.1.0).

Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не входит в ansible-core. Чтобы проверить, установлена ли она, выполните команду ansible-galaxy collection list.

Чтобы установить её, используйте: ansible-galaxy collection install community.aws. Для работы с этим модулем требуются дополнительные компоненты; подробности см. в разделе Требования.

Чтобы использовать модуль в плейбуке, укажите: community.aws.data_pipeline.

Добавлено в community.aws 1.0.0

Краткое описание
Требования
Параметры
Примечания
Примеры
Возвращаемые значения

Краткое описание

Создание конвейеров данных AWS и управление ими. Создание в AWS не является идемпотентной операцией, поэтому uniqueId создаётся путём хеширования переданных конвейеру данных параметров (за исключением объектов).
Определение конвейера должно соответствовать формату, указанному здесь: https://docs.aws.amazon.com/datapipeline/latest/APIReference/API_PutPipelineDefinition.html#API_PutPipelineDefinition_RequestSyntax.
Операции будут ожидать в течение настраиваемого времени, чтобы убедиться, что конвейер перешёл в запрошенное состояние.

Требования

На хосте, на котором выполняется этот модуль, должны быть установлены следующие компоненты.

python >= 3.6
boto3 >= 1.34.0
botocore >= 1.34.0

Параметры

Параметр	Комментарии
access_key псевдонимы: aws_access_key_id, aws_access_key строка	Идентификатор ключа доступа AWS. Дополнительную информацию о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также можно использовать переменные окружения `AWS_ACCESS_KEY_ID` или `AWS_ACCESS_KEY` в порядке убывания приоритета. Параметры aws_access_key и profile являются взаимоисключающими. Псевдоним aws_access_key_id добавлен в выпуске 5.1.0 для согласованности с AWS botocore SDK.
aws_ca_bundle путь	Путь к пакету сертификатов центра сертификации, используемому для проверки SSL-сертификатов. Также можно использовать переменную окружения `AWS_CA_BUNDLE`.
aws_config словарь	Словарь для изменения конфигурации botocore. Параметры приведены в документации AWS: https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.
debug_botocore_endpoint_logs логический	Использовать регистратор `botocore.endpoint` для анализа уникальных (а не общего количества) вызовов API `"resource:action"`, выполненных во время задачи, и записывать их набор в ключ resource_actions результатов задачи. Используйте обработчик обратного вызова `aws_resource_action`, чтобы вывести полный список вызовов, выполненных в ходе плейбука. Также можно использовать переменную окружения `ANSIBLE_DEBUG_BOTOCORE_LOGS`. Варианты: `false` ← (по умолчанию) `true`
description строка	Необязательное описание создаваемого конвейера. По умолчанию: `""`
endpoint_url псевдонимы: aws_endpoint_url строка	URL для подключения вместо конечных точек AWS по умолчанию. Хотя этот параметр можно использовать для подключения к другим сервисам, совместимым с AWS, коллекции amazon.aws и community.aws тестируются только с AWS. Также можно использовать переменную окружения `AWS_URL`.
name строка / обязательный	Имя конвейера данных, который нужно создать, изменить или удалить.
objects список / элементы=словарь	Список определений объектов конвейера, каждое из которых представляет собой словарь с ключами id, name и fields. По умолчанию: `[]`
fields список / элементы=словарь	Пары ключ-значение, определяющие свойства объекта. Значение задаётся либо как ссылка на другой объект refValue, либо как строка stringValue, но не обоими способами одновременно.
key строка	Идентификатор поля.
refValue строка	Значение поля, заданное как идентификатор другого объекта. Можно указать только один из параметров: stringValue или refValue.
stringValue строка	Значение поля. Можно указать только один из параметров: stringValue или refValue.
id строка	Идентификатор объекта.
name строка	Имя объекта.
parameters список / элементы=словарь	Список объектов параметров (словарей) в определении конвейера. По умолчанию: `[]`
attributes список / элементы=словарь	Список атрибутов (словарей) объекта параметров.
key строка	Идентификатор поля.
stringValue строка	Значение поля.
id строка	Идентификатор объекта параметров.
profile псевдонимы: aws_profile строка	Именованный профиль AWS для аутентификации. Дополнительную информацию об именованных профилях см. в документации AWS: https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html. Также можно использовать переменную окружения `AWS_PROFILE`. Параметр profile несовместим с параметрами aws_access_key, aws_secret_key и session_token.
region псевдонимы: aws_region строка	Регион AWS. Для глобальных сервисов, таких как IAM, Route53 и CloudFront, параметр region игнорируется. Также можно использовать переменную окружения `AWS_REGION`. Дополнительную информацию см. в документации Amazon AWS: http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region.
secret_key псевдонимы: aws_secret_access_key, aws_secret_key строка	Секретный ключ доступа AWS. Дополнительную информацию о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также можно использовать переменные окружения `AWS_SECRET_ACCESS_KEY` или `AWS_SECRET_KEY` в порядке убывания приоритета. Параметры secret_key и profile являются взаимоисключающими. Псевдоним aws_secret_access_key добавлен в выпуске 5.1.0 для согласованности с AWS botocore SDK.
session_token псевдонимы: aws_session_token строка	Токен сеанса AWS STS для использования с временными учётными данными. Дополнительную информацию о токенах доступа см. в документации AWS: https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также можно использовать переменную окружения `AWS_SESSION_TOKEN`. Параметры session_token и profile являются взаимоисключающими.
state строка	Запрашиваемое состояние конвейера. Варианты: `"present"` ← (по умолчанию) `"absent"` `"active"` `"inactive"`
tags псевдонимы: resource_tags словарь	Словарь из одной или нескольких пар ключ:значение, добавляемых к конвейеру. По умолчанию: `{}`
timeout целое число	Время ожидания в секундах перехода конвейера в запрошенное состояние; по истечении этого времени операция завершается с ошибкой. По умолчанию: `300`
validate_certs логический	Если установлено значение `false`, SSL-сертификаты при взаимодействии с API AWS проверяться не будут. Настоятельно не рекомендуется устанавливать validate_certs=false; вместо этого рассмотрите возможность задать параметр aws_ca_bundle. Варианты: `false` `true` ← (по умолчанию)
values список / элементы=словарь	Список значений параметров (словарей) в определении конвейера. По умолчанию: `[]`
id строка	Идентификатор значения параметра
stringValue строка	Значение поля

Примечания

Примечание

Внимание: Для модулей переменные окружения и файлы конфигурации считываются из контекста «хоста» Ansible, а не из контекста «контроллера». Поэтому может потребоваться явно скопировать файлы на «хост». Для плагинов поиска и подключения переменные окружения и файлы конфигурации считываются из контекста «контроллера» Ansible, а не из контекста «хоста».
Используемый Ansible пакет AWS SDK (boto3) также может считывать значения по умолчанию для учётных данных и других параметров, например региона, из файлов конфигурации в контексте «хоста» Ansible (обычно ~/.aws/credentials). Дополнительную информацию см. здесь: https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html.

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    objects: "{{pipelineObjects}}"
    parameters: "{{pipelineParameters}}"
    values: "{{pipelineValues}}"
    tags:
      key1: val1
      key2: val2
    state: present

# Example populating and activating a pipeline that demonstrates two ways of providing pipeline objects
- community.aws.data_pipeline:
  name: test-dp
  objects:
    - id: "DefaultSchedule"
      name: "Every 1 day"
      fields:
        - "key": "period"
          "stringValue": "1 days"
        - "key": "type"
          "stringValue": "Schedule"
        - "key": "startAt"
          "stringValue": "FIRST_ACTIVATION_DATE_TIME"
    - id: "Default"
      name: "Default"
      fields:
        - "key": "resourceRole"
          "stringValue": "my_resource_role"
        - "key": "role"
          "stringValue": "DataPipelineDefaultRole"
        - "key": "pipelineLogUri"
          "stringValue": "s3://my_s3_log.txt"
        - "key": "scheduleType"
          "stringValue": "cron"
        - "key": "schedule"
          "refValue": "DefaultSchedule"
        - "key": "failureAndRerunMode"
          "stringValue": "CASCADE"
  state: active

# Activate pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: active

# Delete pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: absent

Возвращаемые значения

Общие возвращаемые значения описаны здесь; ниже приведены поля, уникальные для этого модуля:

Ключ	Описание
changed логический	указывает, был ли изменён конвейер данных Возвращается: всегда Пример: `{"changed": true}`
result словарь	Содержит данные конвейера данных (data_pipeline) и возвращаемое сообщение (msg). Если конвейер данных существует, data_pipeline будет содержать ключи description, name, pipeline_id, state, tags и unique_id. Если конвейер данных не существует, data_pipeline будет пустым словарём. В msg описывается состояние операции. Возвращается: всегда

Ключ

Описание

changed

логический

указывает, был ли изменён конвейер данных

Возвращается: всегда

Пример: {"changed": true}

result

словарь

Содержит данные конвейера данных (data_pipeline) и возвращаемое сообщение (msg). Если конвейер данных существует, data_pipeline будет содержать ключи description, name, pipeline_id, state, tags и unique_id. Если конвейер данных не существует, data_pipeline будет пустым словарём. В msg описывается состояние операции.

Возвращается: всегда

Авторы

Raghu Udiyar (@raags)
Sloane Hertel (@s-hertel)

Ссылки на коллекцию

© 2012–2018 Michael DeHaan
© 2018–2025 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/projects/ansible/latest/collections/community/aws/data_pipeline_module.html