Модуль community.aws.data_pipeline – Создание и управление AWS Datapipeline

Примечание

Этот модуль входит в коллекцию community.aws (версия 8.0.0).

Возможно, эта коллекция уже установлена, если вы используете пакет ansible. Она не включена в ansible-core. Чтобы проверить установку, выполните ansible-galaxy collection list.

Для установки используйте: ansible-galaxy collection install community.aws. Для использования этого модуля необходимы дополнительные требования, см. Требования для получения подробной информации.

Чтобы использовать его в книге задач, укажите: community.aws.data_pipeline.

Добавлен в community.aws 1.0.0

Описание
Требования
Параметры
Примечания
Примеры
Возвращаемые значения

Описание

Создание и управление AWS Datapipeline. Создание не является идемпотентным в AWS, поэтому uniqueId создается путём хеширования параметров (без объектов), переданных для datapipeline.
Определение конвейера должно быть в формате, указанном здесь https://docs.aws.amazon.com/datapipeline/latest/APIReference/API_PutPipelineDefinition.html#API_PutPipelineDefinition_RequestSyntax.
Операции будут ожидать заданное время, чтобы убедиться, что конвейер находится в нужном состоянии.

Требования

Ниже приведены требования, необходимые на хосте, который выполняет этот модуль.

python >= 3.6
boto3 >= 1.26.0
botocore >= 1.29.0

END_OF_DOCUMENT_MARKER

Параметры

Параметр	Комментарии
access_key псевдонимы: aws_access_key_id, aws_access_key, ec2_access_key строка	ID ключа доступа AWS. См. документацию AWS для получения дополнительной информации о маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также могут быть использованы переменные окружения `AWS_ACCESS_KEY_ID`, `AWS_ACCESS_KEY` или `EC2_ACCESS_KEY` в порядке убывания приоритета. Параметры aws_access_key и profile взаимоисключающие. Псевдоним aws_access_key_id был добавлен в релизе 5.1.0 для соответствия SDK botocore AWS. Псевдоним ec2_access_key устарел и будет удален в релизе после 2024-12-01. Поддержка переменной окружения `EC2_ACCESS_KEY` устарела и будет удалена в релизе после 2024-12-01.
aws_ca_bundle путь	Расположение пакета CA для проверки сертификатов SSL. Также может быть использована переменная окружения `AWS_CA_BUNDLE`.
aws_config словарь	Словарь для изменения конфигурации botocore. Параметры можно найти в документации AWS https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config.
debug_botocore_endpoint_logs булево	Используйте `botocore.endpoint` логгер для анализа уникальных (а не общих) `"resource:action"` API-вызовов, сделанных во время задачи, выводив набор в ключ resource_actions результатов задачи. Используйте `aws_resource_action` обратный вызов, чтобы вывести полный список, сделанный во время выполнения книги сценариев. Также может быть использована переменная окружения `ANSIBLE_DEBUG_BOTOCORE_LOGS`. Варианты: `false` ← (по умолчанию) `true`
description строка	Необязательное описание конвейера, который создается. По умолчанию: `""`
endpoint_url псевдонимы: ec2_url, aws_endpoint_url, s3_url строка	URL для подключения вместо стандартных конечных точек AWS. Хотя это можно использовать для подключения к другим службам, совместимым с AWS, коллекции amazon.aws и community.aws протестированы только против AWS. Также могут быть использованы переменные окружения `AWS_URL` или `EC2_URL` в порядке убывания приоритета. Псевдонимы ec2_url и s3_url устарели и будут удалены в релизе после 2024-12-01. Поддержка переменной окружения `EC2_URL` устарела и будет удалена в релизе после 2024-12-01.
name строка / обязательный	Имя конвейера Datapipeline для создания/изменения/удаления.
objects список / элементы=словарь	Список определений объектов конвейера, каждый из которых является словарем, содержащим ключи id, name и fields. По умолчанию: `[]`
fields список / элементы=словарь	Ключевые пары, определяющие свойства объекта. Значение задается как ссылка на другой объект refValue или как строковое значение stringValue, но не оба одновременно.
key строка	Идентификатор поля.
refValue строка	Значение поля, выраженное как идентификатор другого объекта. Должно быть указано только одно из stringValue и refValue.
stringValue строка	Значение поля. Должно быть указано только одно из stringValue и refValue.
id строка	Идентификатор объекта.
name строка	Имя объекта.
parameters список / элементы=словарь	Список объектов параметров (словари) в определении конвейера. По умолчанию: `[]`
attributes список / элементы=словарь	Список атрибутов (словарей) объекта параметра.
key строка	Идентификатор поля.
stringValue строка	Значение поля.
id строка	Идентификатор объекта параметра.

profile aliases: aws_profile string	Используемый профиль AWS для аутентификации. См. документацию AWS для получения дополнительной информации о профилях https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html. Также может использоваться переменная среды `AWS_PROFILE`. Параметр profile взаимоисключает параметры aws_access_key, aws_secret_key и security_token.
region aliases: aws_region, ec2_region string	AWS регион для использования. Для глобальных сервисов, таких как IAM, Route53 и CloudFront, region игнорируется. Также могут использоваться переменные среды `AWS_REGION` или `EC2_REGION`. См. документацию Amazon AWS для получения дополнительной информации http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region. Псевдоним `ec2_region` устарел и будет удалён в релизе после 2024-12-01 Поддержка переменной среды `EC2_REGION` устарела и будет удалена в релизе после 2024-12-01.
secret_key aliases: aws_secret_access_key, aws_secret_key, ec2_secret_key string	Секретный ключ доступа AWS. См. документацию AWS для получения дополнительной информации о маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также могут использоваться переменные среды `AWS_SECRET_ACCESS_KEY`, `AWS_SECRET_KEY`, или `EC2_SECRET_KEY` в порядке убывания приоритета. Параметры secret_key и profile взаимоисключают друг друга. Псевдоним aws_secret_access_key был добавлен в релизе 5.1.0 для согласованности с AWS botocore SDK. Псевдоним ec2_secret_key устарел и будет удалён в релизе после 2024-12-01. Поддержка переменной среды `EC2_SECRET_KEY` устарела и будет удалена в релизе после 2024-12-01.
session_token aliases: aws_session_token, security_token, aws_security_token, access_token string	Маркер сессии AWS STS для использования с временными учётными данными. См. документацию AWS для получения дополнительной информации о маркерах доступа https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys. Также могут использоваться переменные среды `AWS_SESSION_TOKEN`, `AWS_SECURITY_TOKEN` или `EC2_SECURITY_TOKEN` в порядке убывания приоритета. Параметры security_token и profile взаимоисключают друг друга. Псевдонимы aws_session_token и session_token были добавлены в релизе 3.2.0, а параметр был переименован из security_token в session_token в релизе 6.0.0. Псевдонимы security_token, aws_security_token и access_token устарели и будут удалены в релизе после 2024-12-01. Поддержка переменных среды `EC2_SECRET_KEY` и `AWS_SECURITY_TOKEN` устарела и будет удалена в релизе после 2024-12-01.
state string	Запрашиваемое состояние конвейера. Варианты: `"present"` ← (по умолчанию) `"absent"` `"active"` `"inactive"`
tags aliases: resource_tags dictionary	Словарь пар ключ-значение для добавления в конвейер. По умолчанию: `{}`
timeout integer	Время в секундах ожидания перехода конвейера в запрашиваемое состояние, иначе происходит ошибка. По умолчанию: `300`
validate_certs boolean	Если установлено в `false`, сертификаты SSL не будут проверяться при общении с API AWS. Установка validate_certs=false крайне не рекомендуется. В качестве альтернативы, рассмотрите установку aws_ca_bundle. Варианты: `false` `true` ← (по умолчанию)
values list / elements=dictionary	Список значений параметров (словари) в определении конвейера. По умолчанию: `[]`
id string	Идентификатор значения параметра
stringValue string	Значение поля

Примечания

Примечание

Внимание: Для модулей переменные среды и конфигурационные файлы считываются из контекста Ansible «хост», а не «контроллер». Поэтому файлы могут потребоваться явно скопировать на «хост». Для плагинов поиска и подключения переменные среды и конфигурационные файлы считываются из контекста Ansible «контроллер», а не «хост».
AWS SDK (boto3), используемый Ansible, также может считывать значения по умолчанию для учетных данных и других настроек, таких как регион, из своих конфигурационных файлов в контексте Ansible «хост» (обычно ~/.aws/credentials). См. https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html для получения дополнительной информации.

Примеры

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    objects: "{{pipelineObjects}}"
    parameters: "{{pipelineParameters}}"
    values: "{{pipelineValues}}"
    tags:
      key1: val1
      key2: val2
    state: present

# Example populating and activating a pipeline that demonstrates two ways of providing pipeline objects
- community.aws.data_pipeline:
  name: test-dp
  objects:
    - id: "DefaultSchedule"
      name: "Every 1 day"
      fields:
        - "key": "period"
          "stringValue": "1 days"
        - "key": "type"
          "stringValue": "Schedule"
        - "key": "startAt"
          "stringValue": "FIRST_ACTIVATION_DATE_TIME"
    - id: "Default"
      name: "Default"
      fields:
        - "key": "resourceRole"
          "stringValue": "my_resource_role"
        - "key": "role"
          "stringValue": "DataPipelineDefaultRole"
        - "key": "pipelineLogUri"
          "stringValue": "s3://my_s3_log.txt"
        - "key": "scheduleType"
          "stringValue": "cron"
        - "key": "schedule"
          "refValue": "DefaultSchedule"
        - "key": "failureAndRerunMode"
          "stringValue": "CASCADE"
  state: active

# Activate pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: active

# Delete pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: absent

Значения возврата

Общие значения возврата документированы здесь, следующие являются полями, уникальными для данного модуля:

Ключ	Описание
changed boolean	указывает, была ли изменена конвейер данных Возвращается: всегда Пример: `{"changed": true}`
result словарь	Содержит данные конвейера данных (data_pipeline) и сообщение возврата (msg). Если конвейер данных существует, data_pipeline будет содержать ключи description, name, pipeline_id, state, tags и unique_id. Если конвейер данных не существует, data_pipeline будет пустым словарем. Сообщение msg описывает состояние операции. Возвращается: всегда

Ключ

Описание

changed

boolean

указывает, была ли изменена конвейер данных

Возвращается: всегда

Пример: {"changed": true}

result

словарь

Содержит данные конвейера данных (data_pipeline) и сообщение возврата (msg). Если конвейер данных существует, data_pipeline будет содержать ключи description, name, pipeline_id, state, tags и unique_id. Если конвейер данных не существует, data_pipeline будет пустым словарем. Сообщение msg описывает состояние операции.

Возвращается: всегда

Авторы

Raghu Udiyar (@raags)
Sloane Hertel (@s-hertel)

Ссылки на коллекции

© 2012–2018 Michael DeHaan
© 2018–2024 Red Hat, Inc.
Licensed under the GNU General Public License version 3.
https://docs.ansible.com/ansible/latest/collections/community/aws/data_pipeline_module.html