обновление потока интеграции данных

Описание

Позволяет программно обновить существующий поток обработки данных для получения данных из систем-источников, таких как корзины Amazon S3, в предварительно определённый набор данных Amazon Web Services Supply Chain (продукт, inbound_order) или временный набор данных вместе с запросом на преобразование данных, предоставленным в API.

См. также: Документацию API AWS

Синтаксис

  update-data-integration-flow
--instance-id <value>
--name <value>
[--sources <value>]
[--transformation <value>]
[--target <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--instance-id (строка)

Идентификатор экземпляра Amazon Web Services Supply Chain.

--name (строка)

Имя DataIntegrationFlow, подлежащего обновлению.

--sources (список)

Новые конфигурации источников для DataIntegrationFlow.

(структура)

Параметры источника DataIntegrationFlow.

sourceType -> (строка)

Тип источника DataIntegrationFlow.

sourceName -> (строка)

Имя источника DataIntegrationFlow, которое может использоваться в качестве псевдонима таблицы в запросе SQL преобразования.

s3Source -> (структура)

Источник S3 DataIntegrationFlow.

bucketName -> (строка)

Имя корзины S3 для объектов источника.

prefix -> (строка)

Префикс объектов источника S3. Для запуска загрузки данных файлы S3 должны быть размещены в s3://*bucketName* /*prefix* /.

options -> (структура)

Другие параметры источника S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в параметрах S3.

datasetSource -> (структура)

Источник набора данных DataIntegrationFlow.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Параметры источника набора данных DataIntegrationFlow.

loadType -> (строка)

Тип загрузки данных целевого набора данных. Это влияет только на то, как выбираются файлы источника S3 в потоке S3-в-набор_данных.

REPLACE - Целевой набор данных будет заменён новым файлом, добавленным в префикс источника s3.
INCREMENTAL - Целевой набор данных будет обновлён с актуальным содержимым в префиксе S3, учитывая любые добавления или удаления файлов там.

dedupeRecords -> (логическое значение)

Опция для выполнения дублирования записей данных, которые имеют одинаковые значения первичного ключа. Если отключено, преобразованные данные с дублирующимися значениями первичного ключа будут загружаться в набор данных. Для наборов данных в пространстве имен asc такие дубли будут вызывать ошибку загрузки. Если включено без dedupeStrategy, дублирование выполняется путём сохранения случайной записи данных среди тех, которые имеют одинаковые значения первичного ключа. Если включено с dedupeStragtegy, дублирование выполняется согласно стратегии.

Обратите внимание, что целевой набор данных может иметь конфигурацию разделов. Когда дублирование включено, оно выполняется только по первичным ключам и сохраняется только одна запись из этих дубликатов независимо от статуса раздела.

dedupeStrategy -> (структура)

Стратегия дублирования для дублирования записей данных, имеющих одинаковые значения первичного ключа целевого набора данных. Эта стратегия применяется только к целевым наборам данных с первичными ключами и включённым параметром dedupeRecords. Если после оценки dedupeStrategy преобразованные данные всё ещё содержат дубликаты, для сохранения выбирается случайная запись данных.

type -> (строка)

Тип стратегии дублирования.

FIELD_PRIORITY - Конфигурация приоритета поля для стратегии дублирования указывает упорядоченный список полей, используемых для разбора записей данных, которые имеют одинаковые значения первичного ключа. Поля в начале списка имеют более высокий приоритет при оценке. Для каждого поля порядок сортировки определяет, сохранять ли запись данных с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дублирования с приоритетом поля.

fields -> (список)

Список имён полей и их порядка сортировки для дублирования, расположенных в порядке убывания приоритета от самого высокого к самому низкому.

(структура)

Поле, используемое в стратегии дублирования с приоритетом поля.

name -> (строка)

Имя поля дублирования. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки для поля дублирования.

Синтаксис JSON:

[
  {
    "sourceType": "S3"|"DATASET",
    "sourceName": "string",
    "s3Source": {
      "bucketName": "string",
      "prefix": "string",
      "options": {
        "fileType": "CSV"|"PARQUET"|"JSON"
      }
    },
    "datasetSource": {
      "datasetIdentifier": "string",
      "options": {
        "loadType": "INCREMENTAL"|"REPLACE",
        "dedupeRecords": true|false,
        "dedupeStrategy": {
          "type": "FIELD_PRIORITY",
          "fieldPriority": {
            "fields": [
              {
                "name": "string",
                "sortOrder": "ASC"|"DESC"
              }
              ...
            ]
          }
        }
      }
    }
  }
  ...
]

--transformation (структура)

Новые конфигурации преобразования для DataIntegrationFlow.

transformationType -> (строка)

Тип преобразования DataIntegrationFlow.

sqlTransformation -> (структура)

Конфигурация преобразования SQL DataIntegrationFlow.

query -> (строка)

Тело запроса преобразования SQL на основе SparkSQL.

Сокращённый синтаксис:

transformationType=string,sqlTransformation={query=string}

Синтаксис JSON:

{
  "transformationType": "SQL"|"NONE",
  "sqlTransformation": {
    "query": "string"
  }
}

--target (структура)

Новые конфигурации целевых объектов для DataIntegrationFlow.

targetType -> (строка)

Тип целевого объекта DataIntegrationFlow.

s3Target -> (структура)

Целевой объект S3 DataIntegrationFlow.

bucketName -> (строка)

Имя корзины S3 для объектов целевого объекта.

prefix -> (строка)

Префикс объектов целевого объекта S3.

options -> (структура)

Параметры целевого объекта S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в параметрах S3.

datasetTarget -> (структура)

Целевой объект набора данных DataIntegrationFlow. Обратите внимание, что для наборов данных AWS Supply Chain в пространстве имен asc есть внутреннее поле connection_id, которое нельзя напрямую указывать клиенту. Оно будет автоматически заполняться.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Параметры целевого объекта набора данных DataIntegrationFlow.

loadType -> (строка)

REPLACE - Целевой набор данных будет заменён новым файлом, добавленным в префикс источника s3.
INCREMENTAL - Целевой набор данных будет обновлён с актуальным содержимым в префиксе S3, учитывая любые добавления или удаления файлов там.

dedupeRecords -> (логическое значение)

dedupeStrategy -> (структура)

Стратегия дублирования для дублирования записей данных, которые имеют одинаковые значения первичного ключа целевого набора данных. Эта стратегия применяется только к целевым наборам данных с первичными ключами и включённым параметром dedupeRecords. Если после оценки dedupeStrategy преобразованные данные всё ещё содержат дубликаты, для сохранения выбирается случайная запись данных.

type -> (строка)

Тип стратегии дублирования.

FIELD_PRIORITY - Конфигурация приоритета поля для стратегии дублирования указывает упорядоченный список полей, используемых для разбора записей данных, которые имеют одинаковые значения первичного ключа. Поля в начале списка имеют более высокий приоритет при оценке. Для каждого поля порядок сортировки определяет, сохранять ли запись данных с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дублирования с приоритетом поля.

fields -> (список)

(структура)

Поле, используемое в стратегии дублирования с приоритетом поля.

name -> (строка)

Имя поля дублирования. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки для поля дублирования.

Синтаксис JSON:

{
  "targetType": "S3"|"DATASET",
  "s3Target": {
    "bucketName": "string",
    "prefix": "string",
    "options": {
      "fileType": "CSV"|"PARQUET"|"JSON"
    }
  },
  "datasetTarget": {
    "datasetIdentifier": "string",
    "options": {
      "loadType": "INCREMENTAL"|"REPLACE",
      "dedupeRecords": true|false,
      "dedupeStrategy": {
        "type": "FIELD_PRIORITY",
        "fieldPriority": {
          "fields": [
            {
              "name": "string",
              "sortOrder": "ASC"|"DESC"
            }
            ...
          ]
        }
      }
    }
  }
}

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передавать произвольные двоичные данные с помощью значения, предоставленного в JSON, так как строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводится пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, проверяются входные данные команды и возвращается пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (boolean)

Включить отладочное журналирование.

--endpoint-url (string)

Переопределить URL по умолчанию для команды с заданным URL.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при взаимодействии с сервисами AWS. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Эта опция переопределяет поведение по умолчанию для проверки SSL-сертификатов.

--no-paginate (boolean)

Отключить автоматическую разбивку на страницы. Если автоматическая разбивка на страницы отключена, AWS CLI сделает только один вызов для первой страницы результатов.

--output (string)

Стиль форматирования выходных данных команды.

json
text
table
yaml
yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определенный профиль из вашего файла учетных данных.

--region (string)

Регион для использования. Переопределяет настройки config/env.

--version (string)

Отобразить версию этого инструмента.

--color (string)

Включить/выключить цветной вывод.

on
off
auto

--no-sign-request (boolean)

Не подписывать запросы. Учетные данные не будут загружены, если предоставлен этот аргумент.

--ca-bundle (string)

Пакет сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки config/env.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет блокироваться и не истечет время ожидания. Значение по умолчанию - 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет блокироваться и не истечет время ожидания. Значение по умолчанию - 60 секунд.

--cli-binary-format (string)

Стиль форматирования, который будет использоваться для двоичных больших объектов. Формат по умолчанию - base64. Формат base64 ожидает, что двоичные большие объекты будут предоставлены в виде строки, закодированной в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое сопоставляется с двоичным большим объектом, fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую, независимо от параметра cli-binary-format. При использовании file:// содержимое файла необходимо будет правильно отформатировать для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (boolean)

Отключить пейджер cli для вывода.

--cli-auto-prompt (boolean)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматическую подсказку для параметров ввода CLI.

Вывод

flow -> (structure)

Сведения об обновленном DataIntegrationFlow.

instanceId -> (string)

Идентификатор экземпляра DataIntegrationFlow.

name -> (string)

Имя DataIntegrationFlow.

sources -> (list)

Конфигурации источника DataIntegrationFlow.

(structure)

Параметры источника DataIntegrationFlow.

sourceType -> (string)

Тип источника DataIntegrationFlow.

sourceName -> (string)

Имя источника DataIntegrationFlow, которое можно использовать в качестве псевдонима таблицы в запросе SQL-преобразования.

s3Source -> (structure)

Источник S3 DataIntegrationFlow.

bucketName -> (string)

Имя_bucket объектов S3 source.

prefix -> (string)

Префикс объектов S3 source. Чтобы инициировать получение данных, файлы S3 необходимо поместить в s3://*bucketName* /*prefix* / .

options -> (structure)

Другие параметры источника S3 DataIntegrationFlow.

fileType -> (string)

Тип файла Amazon S3 в параметрах S3.

datasetSource -> (structure)

Источник набора данных DataIntegrationFlow.

datasetIdentifier -> (string)

ARN набора данных.

options -> (structure)

Параметры источника набора данных DataIntegrationFlow.

loadType -> (string)

Тип загрузки данных целевого набора данных. Это влияет только на то, как выбираются исходные файлы S3 в потоке S3-to-dataset.

REPLACE - целевой набор данных будет заменен новым файлом, добавленным под префиксом s3 source.
INCREMENTAL - целевой набор данных будет обновлен актуальным содержимым под префиксом S3, включая любые добавления или удаления файлов.

dedupeRecords -> (boolean)

Возможность выполнения дедупликации записей данных, имеющих одинаковые значения первичных ключей. Если отключено, преобразованные данные с дублирующимися значениями первичных ключей будут внесены в набор данных, для наборов данных в пространстве имен asc такие дубликаты приведут к сбою получения. Если включено без dedupeStrategy, дедупликация выполняется путем сохранения случайной записи данных среди тех, которые имеют одинаковые значения первичных ключей. Если включено с dedupeStragtegy, дедупликация выполняется в соответствии со стратегией.

Обратите внимание, что целевой набор данных может иметь настроенный раздел, когда дедупликация включена, она выполняется только по первичным ключам и сохраняет только одну запись из этих дубликатов, независимо от состояния его раздела.

dedupeStrategy -> (structure)

Стратегия дедупликации для дедупликации записей данных, имеющих одинаковые значения первичных ключей целевого набора данных. Эта стратегия применяется только к целевому набору данных с первичными ключами и с включенной опцией dedupeRecords. Если преобразованные данные все еще содержат дубликаты после оценки dedupeStrategy, случайная запись данных выбирается для сохранения.

type -> (string)

Тип стратегии дедупликации.

FIELD_PRIORITY - конфигурация приоритета поля для стратегии дедупликации определяет упорядоченный список полей, используемых для разбивки данных записей, имеющих одинаковые значения первичных ключей. Поля, находящиеся раньше в списке, имеют более высокий приоритет для оценки. Для каждого поля порядок сортировки определяет, следует ли сохранять запись данных с большим или меньшим значением поля.

fieldPriority -> (structure)

Стратегия дедупликации приоритета поля.

fields -> (list)

Список имен полей и их порядок сортировки для дедупликации, расположенных в порядке убывания приоритета от самого высокого к самому низкому.

(structure)

Поле, используемое в стратегии дедупликации приоритета поля.

name -> (string)

Имя поля дедупликации. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (string)

Порядок сортировки для поля дедупликации.

transformation -> (structure)

Конфигурации преобразования DataIntegrationFlow.

transformationType -> (string)

Тип преобразования DataIntegrationFlow.

sqlTransformation -> (structure)

Конфигурация преобразования SQL DataIntegrationFlow.

query -> (string)

Текст запроса SQL-преобразования на основе SparkSQL.

target -> (structure)

Конфигурация целевого объекта DataIntegrationFlow.

targetType -> (string)

Целевой тип DataIntegrationFlow.

s3Target -> (structure)

Цель S3 DataIntegrationFlow.

bucketName -> (string)

Имя_bucket целевых объектов S3.

prefix -> (string)

Префикс целевых объектов S3.

options -> (structure)

Параметры целевого объекта S3 DataIntegrationFlow.

fileType -> (string)

Тип файла Amazon S3 в параметрах S3.

datasetTarget -> (structure)

Целевой набор данных DataIntegrationFlow. Обратите внимание, что для набора данных AWS Supply Chain в пространстве имен asc он имеет внутреннее поле connection_id, которое не разрешено предоставлять клиентом напрямую, они будут заполнены автоматически.

datasetIdentifier -> (string)

ARN набора данных.

options -> (structure)

Параметры целевого объекта DataIntegrationFlow набора данных.

loadType -> (string)

REPLACE - целевой набор данных будет заменен новым файлом, добавленным под префиксом s3 source.
INCREMENTAL - целевой набор данных будет обновлен актуальным содержимым под префиксом S3, включая любые добавления или удаления файлов.

dedupeRecords -> (boolean)

dedupeStrategy -> (structure)

type -> (string)

Тип стратегии дедупликации.

FIELD_PRIORITY - конфигурация приоритета поля для стратегии дедупликации определяет упорядоченный список полей, используемых для разбивки данных записей, имеющих одинаковые значения первичных ключей. Поля, находящиеся раньше в списке, имеют более высокий приоритет для оценки. Для каждого поля порядок сортировки определяет, следует ли сохранять запись данных с большим или меньшим значением поля.

fieldPriority -> (structure)

Стратегия дедупликации приоритета поля.

fields -> (list)

(structure)

Поле, используемое в стратегии дедупликации приоритета поля.

name -> (string)

Имя поля дедупликации. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (string)

Порядок сортировки для поля дедупликации.

createdTime -> (timestamp)

Временная метка создания DataIntegrationFlow.

lastModifiedTime -> (timestamp)

Временная метка последнего изменения DataIntegrationFlow.

END_OF_DOCUMENT_MARKER