create-data-integration-flow

Описание

Позволяет программно создать конвейер данных для загрузки данных из таких источников, как ведра Amazon S3, в предопределенный набор данных Amazon Web Services Supply Chain (товар, inbound_order) или временный набор данных вместе с запросом преобразования данных, предоставленным в API.

См. также: Документацию API AWS

Синтаксис

  create-data-integration-flow
--instance-id <value>
--name <value>
--sources <value>
--transformation <value>
--target <value>
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--instance-id (строка)

Идентификатор экземпляра Amazon Web Services Supply Chain.

--name (строка)

Имя DataIntegrationFlow.

--sources (список)

Конфигурации источника для DataIntegrationFlow.

(структура)

Параметры источника DataIntegrationFlow.

sourceType -> (строка)

Тип источника DataIntegrationFlow.

sourceName -> (строка)

Имя источника DataIntegrationFlow, которое может использоваться в качестве псевдонима таблицы в запросе преобразования SQL.

s3Source -> (структура)

Источник S3 DataIntegrationFlow.

bucketName -> (строка)

Имя ведра S3 источника объектов.

prefix -> (строка)

Префикс объектов S3 источника. Для запуска загрузки данных файлы S3 должны находиться под s3://*bucketName* /*prefix* /.

options -> (структура)

Другие параметры источника S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в параметрах S3.

datasetSource -> (структура)

Источник DataIntegrationFlow набора данных.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Параметры источника набора данных DataIntegrationFlow.

loadType -> (строка)

Тип загрузки данных целевого набора данных. Это влияет только на то, как выбираются файлы S3 источника в потоке S3-в-набор данных.

REPLACE - Целевой набор данных будет заменен новым файлом, добавленным под префикс источника S3.
INCREMENTAL - Целевой набор данных будет обновлен с актуальным содержимым под префиксом S3, включая любые добавления или удаления файлов там.

dedupeRecords -> (булево)

Параметр выполнения дедупликации записей данных, имеющих одинаковые значения первичного ключа. Если отключено, преобразованные данные с дублирующими значениями первичного ключа будут загружены в набор данных. Для наборов данных в пространстве имен asc такие дубли приведут к ошибке загрузки. Если включено без dedupeStrategy, дедупликация выполняется путем сохранения произвольной записи данных среди тех, которые имеют одинаковые значения первичного ключа. Если включено с dedupeStrategy, дедупликация выполняется согласно этой стратегии.

Обратите внимание, что целевой набор данных может иметь конфигурированные разделы. При включенном параметре dedupe, он выполняется только по отношению к первичным ключам и сохраняет только одну запись из дубликатов независимо от статуса раздела.

dedupeStrategy -> (структура)

Стратегия дедупликации для удаления дубликатов записей данных, имеющих одинаковые значения первичного ключа целевого набора данных. Эта стратегия применяется только к целевому набору данных с первичными ключами и включенным параметром dedupeRecords. Если после оценки dedupeStrategy преобразованные данные по-прежнему содержат дубликаты, выбирается произвольная запись данных для сохранения.

type -> (строка)

Тип стратегии дедупликации.

FIELD_PRIORITY - Конфигурация приоритета поля для стратегии дедупликации определяет упорядоченный список полей, используемых для разбиения записей данных, имеющих одинаковые значения первичного ключа. Поля, расположенные в списке раньше, имеют больший приоритет при оценке. Для каждого поля порядок сортировки определяет, сохранить ли запись данных с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дедупликации с приоритетом поля.

fields -> (список)

Список имен полей и их порядка сортировки для дедупликации, упорядоченных по убыванию приоритета с наивысшего до наименьшего.

(структура)

Поле, используемое в стратегии дедупликации с приоритетом поля.

name -> (строка)

Имя поля дедупликации. Должно существовать в наборе данных и не должно быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки для поля дедупликации.

Синтаксис JSON:

[
  {
    "sourceType": "S3"|"DATASET",
    "sourceName": "string",
    "s3Source": {
      "bucketName": "string",
      "prefix": "string",
      "options": {
        "fileType": "CSV"|"PARQUET"|"JSON"
      }
    },
    "datasetSource": {
      "datasetIdentifier": "string",
      "options": {
        "loadType": "INCREMENTAL"|"REPLACE",
        "dedupeRecords": true|false,
        "dedupeStrategy": {
          "type": "FIELD_PRIORITY",
          "fieldPriority": {
            "fields": [
              {
                "name": "string",
                "sortOrder": "ASC"|"DESC"
              }
              ...
            ]
          }
        }
      }
    }
  }
  ...
]

--transformation (структура)

Конфигурации преобразования для DataIntegrationFlow.

transformationType -> (строка)

Тип преобразования DataIntegrationFlow.

sqlTransformation -> (структура)

Конфигурация преобразования SQL DataIntegrationFlow.

query -> (строка)

Тело запроса преобразования SQL на основе SparkSQL.

Упрощенный синтаксис:

transformationType=string,sqlTransformation={query=string}

Синтаксис JSON:

{
  "transformationType": "SQL"|"NONE",
  "sqlTransformation": {
    "query": "string"
  }
}

--target (структура)

Конфигурации целевого объекта для DataIntegrationFlow.

targetType -> (строка)

Тип целевого объекта DataIntegrationFlow.

s3Target -> (структура)

Целевой объект S3 DataIntegrationFlow.

bucketName -> (строка)

Имя ведра S3 целевых объектов.

prefix -> (строка)

Префикс целевых объектов S3.

options -> (структура)

Параметры целевого объекта S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в параметрах S3.

datasetTarget -> (структура)

Целевой объект набора данных DataIntegrationFlow. Обратите внимание, что для набора данных AWS Supply Chain в пространстве имен asc есть внутреннее поле connection_id, которое не разрешено напрямую предоставлять клиентом. Они будут автоматически заполнены.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Параметры целевого объекта набора данных DataIntegrationFlow.

loadType -> (строка)

REPLACE - Целевой набор данных будет заменен новым файлом, добавленным под префикс источника S3.
INCREMENTAL - Целевой набор данных будет обновлен с актуальным содержимым под префиксом S3, включая любые добавления или удаления файлов там.

dedupeRecords -> (булево)

dedupeStrategy -> (структура)

type -> (строка)

Тип стратегии дедупликации.

FIELD_PRIORITY - Конфигурация приоритета поля для стратегии дедупликации определяет упорядоченный список полей, используемых для разбиения записей данных, имеющих одинаковые значения первичного ключа. Поля, расположенные в списке раньше, имеют больший приоритет при оценке. Для каждого поля порядок сортировки определяет, сохранить ли запись данных с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дедупликации с приоритетом поля.

fields -> (список)

(структура)

Поле, используемое в стратегии дедупликации с приоритетом поля.

name -> (строка)

Имя поля дедупликации. Должно существовать в наборе данных и не должно быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки для поля дедупликации.

Синтаксис JSON:

{
  "targetType": "S3"|"DATASET",
  "s3Target": {
    "bucketName": "string",
    "prefix": "string",
    "options": {
      "fileType": "CSV"|"PARQUET"|"JSON"
    }
  },
  "datasetTarget": {
    "datasetIdentifier": "string",
    "options": {
      "loadType": "INCREMENTAL"|"REPLACE",
      "dedupeRecords": true|false,
      "dedupeStrategy": {
        "type": "FIELD_PRIORITY",
        "fieldPriority": {
          "fields": [
            {
              "name": "string",
              "sortOrder": "ASC"|"DESC"
            }
            ...
          ]
        }
      }
    }
  }
}

--tags (массив)

Теги DataIntegrationFlow, которые нужно создать

key -> (строка)

value -> (строка)

Упрощенный синтаксис:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному в --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные данные с помощью предоставленного значения JSON, так как строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, оно выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернет JSON-пример выходных данных для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантии обратной совместимости в сгенерированном JSON-скелете.

Общие параметры

--debug (boolean)

Включить отладочную запись в журнал.

--endpoint-url (string)

Переопределить адрес по умолчанию команды на указанный адрес.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (boolean)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (string)

Стиль форматирования вывода команды.

json
text
table
yaml
yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определенный профиль из файла учетных данных.

--region (string)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (string)

Показать версию этого инструмента.

--color (string)

Включить/выключить цветной вывод.

on
off
auto

--no-sign-request (boolean)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (string)

Файл сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию - 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет выполняться блокирующим образом без таймаута. Значение по умолчанию - 60 секунд.

--cli-binary-format (string)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставляемого с двоичным блоком fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть правильно отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (boolean)

Отключить постраничную навигацию CLI для вывода.

--cli-auto-prompt (boolean)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

instanceId -> (string)

Идентификатор экземпляра Amazon Web Services Supply Chain.

name -> (string)

Имя созданного DataIntegrationFlow.