Spec-Zone.ru › AWS CLI v2

[ aws . supplychain ]

получение-потока-интеграции-данных

Описание

Позволяет программно просмотреть конкретную цепочку обработки данных для предоставленного экземпляра Amazon Web Services Supply Chain и имени DataIntegrationFlow.

См. также: Документацию API AWS

Синтаксис

  get-data-integration-flow
--instance-id <value>
--name <value>
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--instance-id (строка)

Идентификатор экземпляра Amazon Web Services Supply Chain.

--name (строка)

Имя созданного DataIntegrationFlow.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения переопределят значения, предоставленные JSON. Невозможно передать произвольные двоичные значения с помощью предоставленного JSON-значения, так как строка будет принята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, оно выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернёт пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладовую регистрацию.

--endpoint-url (строка)

Переопределить стандартный URL команды на заданный URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команд.

  • json
  • текст
  • таблица
  • yaml
  • yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла аутентификации.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

  • вкл
  • выкл
  • авто

--no-sign-request (логическое значение)

Не подписывать запросы. Кредиты не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Образ сертификата CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время соединения сокета в секундах. Если значение установлено в 0, соединение сокета будет блокирующим и без таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. По умолчанию формат — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, отображающего двоичный блок, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для конфигурируемого cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить пейджер cli для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров ввода CLI.

Вывод

flow -> (структура)

Подробности возвращаемого DataIntegrationFlow.

instanceId -> (строка)

Идентификатор экземпляра DataIntegrationFlow.

name -> (строка)

Имя DataIntegrationFlow.

sources -> (список)

Настройки источника DataIntegrationFlow.

(структура)

Параметры источника DataIntegrationFlow.

sourceType -> (строка)

Тип источника DataIntegrationFlow.

sourceName -> (строка)

Имя источника DataIntegrationFlow, которое может использоваться в качестве псевдонима таблицы в запросе SQL преобразования.

s3Source -> (структура)

Источник DataIntegrationFlow S3.

bucketName -> (строка)

Имя корзины (bucketName) объектов источника S3.

prefix -> (строка)

Префикс объектов источника S3. Для запуска загрузки данных файлы S3 должны быть размещены в каталоге, начинающемся с s3://*bucketName* /*prefix* /.

options -> (структура)

Дополнительные параметры источника S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в настройках S3.

datasetSource -> (структура)

Источник DataIntegrationFlow набора данных.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Настройки источника DataIntegrationFlow набора данных.

loadType -> (строка)

Тип загрузки данных целевого набора данных. Это влияет только на то, как выбираются исходные файлы S3 в потоке S3-в-набор данных.

  • REPLACE - Целевой набор данных будет заменён новым файлом, добавленным в префикс исходного S3.
  • INCREMENTAL - Целевой набор данных будет обновлён актуальным содержимым из префикса S3, включая любые добавленные или удалённые файлы.

dedupeRecords -> (булево)

Опция для выполнения дедупликации записей данных, имеющих одинаковые значения первичного ключа. Если отключено, данные с дублирующими значениями первичного ключа будут загружены в набор данных. Для наборов данных в пространстве имён asc такие дубликаты приведут к сбою загрузки. Если включено без dedupeStrategy, дедупликация выполняется путём сохранения случайной записи среди записей с одинаковыми значениями первичного ключа. Если включено с dedupeStragtegy, дедупликация выполняется в соответствии с выбранной стратегией.

Обратите внимание, что целевой набор данных может иметь настроенные разделы (партиции). При включённой дедупликации она выполняется только по первичным ключам, сохраняя только одну запись из дубликатов, независимо от статуса её раздела.

dedupeStrategy -> (структура)

Стратегия дедупликации для удаления записей данных с одинаковыми значениями первичного ключа целевого набора данных. Эта стратегия применяется только к целевым наборам данных с первичными ключами и включённой опцией dedupeRecords. Если после применения dedupeStrategy в данных всё ещё остались дубликаты, для сохранения выбирается случайная запись.

type -> (строка)

Тип стратегии дедупликации.

  • FIELD_PRIORITY - Конфигурация приоритета полей для стратегии дедупликации определяет упорядоченный список полей, используемых для разрешения конфликтов при совпадении первичных ключей. Поля в начале списка имеют более высокий приоритет. Для каждого поля порядок сортировки определяет, сохранять запись с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дедупликации с приоритетом полей.

fields -> (список)

Список имён полей и их порядка сортировки для дедупликации, расположенный в порядке убывания приоритета от наивысшего к наименьшему.

(структура)

Поле, используемое в стратегии дедупликации с приоритетом полей.

name -> (строка)

Имя поля дедупликации. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки поля дедупликации.

transformation -> (структура)

Конфигурации преобразования DataIntegrationFlow.

transformationType -> (строка)

Тип преобразования DataIntegrationFlow.

sqlTransformation -> (структура)

Конфигурация преобразования DataIntegrationFlow SQL.

query -> (строка)

Тело запроса преобразования SQL, основанное на SparkSQL.

target -> (структура)

Конфигурация целевого объекта DataIntegrationFlow.

targetType -> (строка)

Тип целевого объекта DataIntegrationFlow.

s3Target -> (структура)

Целевой объект DataIntegrationFlow S3.

bucketName -> (строка)

Имя корзины (bucketName) целевых объектов S3.

prefix -> (строка)

Префикс целевых объектов S3.

options -> (структура)

Параметры целевого объекта S3 DataIntegrationFlow.

fileType -> (строка)

Тип файла Amazon S3 в настройках S3.

datasetTarget -> (структура)

Целевой объект DataIntegrationFlow набора данных. Обратите внимание, что для набора данных AWS Supply Chain в пространстве имён asc есть внутреннее поле connection_id, которое не может быть предоставлено клиентом напрямую, оно будет автоматически заполняться.

datasetIdentifier -> (строка)

ARN набора данных.

options -> (структура)

Настройки целевого объекта DataIntegrationFlow набора данных.

loadType -> (строка)

Тип загрузки данных целевого набора данных. Это влияет только на то, как выбираются исходные файлы S3 в потоке S3-в-набор данных.

  • REPLACE - Целевой набор данных будет заменён новым файлом, добавленным в префикс исходного S3.
  • INCREMENTAL - Целевой набор данных будет обновлён актуальным содержимым из префикса S3, включая любые добавленные или удалённые файлы.

dedupeRecords -> (булево)

Опция для выполнения дедупликации записей данных, имеющих одинаковые значения первичного ключа. Если отключено, данные с дублирующими значениями первичного ключа будут загружены в набор данных. Для наборов данных в пространстве имён asc такие дубликаты приведут к сбою загрузки. Если включено без dedupeStrategy, дедупликация выполняется путём сохранения случайной записи среди записей с одинаковыми значениями первичного ключа. Если включено с dedupeStragtegy, дедупликация выполняется в соответствии с выбранной стратегией.

Обратите внимание, что целевой набор данных может иметь настроенные разделы (партиции). При включённой дедупликации она выполняется только по первичным ключам, сохраняя только одну запись из дубликатов, независимо от статуса её раздела.

dedupeStrategy -> (структура)

Стратегия дедупликации для удаления записей данных с одинаковыми значениями первичного ключа целевого набора данных. Эта стратегия применяется только к целевым наборам данных с первичными ключами и включённой опцией dedupeRecords. Если после применения dedupeStrategy в данных всё ещё остались дубликаты, для сохранения выбирается случайная запись.

type -> (строка)

Тип стратегии дедупликации.

  • FIELD_PRIORITY - Конфигурация приоритета полей для стратегии дедупликации определяет упорядоченный список полей, используемых для разрешения конфликтов при совпадении первичных ключей. Поля в начале списка имеют более высокий приоритет. Для каждого поля порядок сортировки определяет, сохранять запись с большим или меньшим значением поля.

fieldPriority -> (структура)

Стратегия дедупликации с приоритетом полей.

fields -> (список)

Список имён полей и их порядка сортировки для дедупликации, расположенный в порядке убывания приоритета от наивысшего к наименьшему.

(структура)

Поле, используемое в стратегии дедупликации с приоритетом полей.

name -> (строка)

Имя поля дедупликации. Должно существовать в наборе данных и не быть первичным ключом.

sortOrder -> (строка)

Порядок сортировки поля дедупликации.

createdTime -> (временная метка)

Временная метка создания DataIntegrationFlow.

lastModifiedTime -> (временная метка)

Временная метка последнего изменения DataIntegrationFlow.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

END_OF_DOCUMENT_MARKER

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API