создать-поток
Описание
Разрешает вашему приложению создавать новый поток с использованием Amazon AppFlow. Вы должны создать профиль соединителя перед вызовом этого API. Обратите внимание, что синтаксис запроса ниже показывает синтаксис для нескольких пунктов назначения, однако вы можете передавать данные только одному элементу в этом списке за раз. Amazon AppFlow в настоящее время не поддерживает потоки для нескольких пунктов назначения одновременно.
См. также: Документация AWS API
Синтаксис
create-flow
--flow-name <value>
[--description <value>]
[--kms-arn <value>]
--trigger-config <value>
--source-flow-config <value>
--destination-flow-config-list <value>
--tasks <value>
[--tags <value>]
[--metadata-catalog-config <value>]
[--client-token <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--flow-name (строка)
--description (строка)
--kms-arn (строка)
--trigger-config (структура)
Настройки триггера, определяющие, как и когда выполняется поток.
triggerType -> (строка)
OnDemand , Scheduled или Event .triggerProperties -> (структура)
Указывает конфигурационные детали потока, запускаемого по расписанию, как определено пользователем. В настоящее время эти настройки применимы только к типу триггера Scheduled .
Scheduled -> (структура)
Указывает конфигурационные детали потока, запускаемого по расписанию, как определено пользователем.
scheduleExpression -> (строка)
rate(5minutes) .dataPullMode -> (строка)
scheduleStartTime -> (метка времени)
2022-04-26T13:00:00-07:00 .scheduleEndTime -> (метка времени)
2022-04-27T13:00:00-07:00 .timezone -> (строка)
Указывает часовой пояс, используемый при ссылке на даты и времена запланированного потока, например, America/New_York . Этот часовой пояс — только описательная метка. Он не влияет на то, как Amazon AppFlow интерпретирует метки времени, которые вы указываете для планирования потока.
Если вы хотите запланировать поток, используя время в определенном часовом поясе, укажите часовой пояс как смещение по UTC в ваших метках времени. Например, смещения по UTC для часового пояса America/New_York равны -04:00 EDT и -05:00 EST .
scheduleOffset -> (целое число)
firstExecutionFrom -> (метка времени)
flowErrorDeactivationThreshold -> (целое число)
Сокращенный синтаксис:
triggerType=string,triggerProperties={Scheduled={scheduleExpression=string,dataPullMode=string,scheduleStartTime=timestamp,scheduleEndTime=timestamp,timezone=string,scheduleOffset=long,firstExecutionFrom=timestamp,flowErrorDeactivationThreshold=integer}}
Синтаксис JSON:
{
"triggerType": "Scheduled"|"Event"|"OnDemand",
"triggerProperties": {
"Scheduled": {
"scheduleExpression": "string",
"dataPullMode": "Incremental"|"Complete",
"scheduleStartTime": timestamp,
"scheduleEndTime": timestamp,
"timezone": "string",
"scheduleOffset": long,
"firstExecutionFrom": timestamp,
"flowErrorDeactivationThreshold": integer
}
}
}
--source-flow-config (структура)
Настройка, которая определяет, как Amazon AppFlow получает данные из подключенного источника.
connectorType -> (строка)
apiVersion -> (строка)
connectorProfileName -> (строка)
sourceConnectorProperties -> (структура)
Определяет информацию, необходимую для запроса конкретного подключения источника.
Amplitude -> (структура)
Определяет информацию, необходимую для запроса Amplitude.
object -> (строка)
Datadog -> (структура)
Определяет информацию, необходимую для запроса Datadog.
object -> (строка)
Dynatrace -> (структура)
Определяет информацию, необходимую для запроса Dynatrace.
object -> (строка)
GoogleAnalytics -> (структура)
Определяет информацию, необходимую для запроса Google Analytics.
object -> (строка)
InforNexus -> (структура)
Определяет информацию, необходимую для запроса Infor Nexus.
object -> (строка)
Marketo -> (структура)
Определяет информацию, необходимую для запроса Marketo.
object -> (строка)
S3 -> (структура)
Определяет информацию, необходимую для запроса Amazon S3.
bucketName -> (строка)
bucketPrefix -> (строка)
s3InputFormatConfig -> (структура)
При использовании Amazon S3 в качестве источника, формат конфигурации входных данных потока.
s3InputFileType -> (строка)
Salesforce -> (структура)
Определяет информацию, необходимую для запроса Salesforce.
object -> (строка)
enableDynamicFieldUpdate -> (булево)
includeDeletedRecords -> (булево)
dataTransferApi -> (строка)
Определяет, какой API Salesforce используется Amazon AppFlow при передаче данных из Salesforce.
По умолчанию. Amazon AppFlow выбирает API для использования на основе количества записей, передаваемых потоком из Salesforce. Если поток передает меньше 1 000 000 записей, Amazon AppFlow использует Salesforce REST API. Если поток передает 1 000 000 записей или больше, Amazon AppFlow использует Salesforce Bulk API 2.0.
Каждый из этих API Salesforce структурирует данные по-разному. Если Amazon AppFlow выбирает API автоматически, имейте в виду, что для повторяющихся потоков выходные данные могут отличаться от одного выполнения потока к другому. Например, если поток выполняется ежедневно, он может использовать REST API в один день для передачи 900 000 записей и может использовать Bulk API 2.0 на следующий день для передачи 1 100 000 записей. Для каждого из этих выполнений потока соответствующий API Salesforce форматирует данные по-разному. Некоторые различия включают в себя формат дат и представление нулевых значений. Также Bulk API 2.0 не передает составные поля Salesforce.
Выбрав этот вариант, вы оптимизируете производительность потока как для небольших, так и для больших объемов данных, но цена - несогласованный формат в выходных данных.
Amazon AppFlow использует только Salesforce Bulk API 2.0. Этот API выполняет асинхронные передачи данных и оптимален для больших наборов данных. Выбрав этот вариант, вы гарантируете согласованный вывод вашего потока, но оптимизируете производительность только для больших объемов данных.
Обратите внимание, что Bulk API 2.0 не передает составные поля Salesforce.
Amazon AppFlow использует только Salesforce REST API. Выбрав этот вариант, вы гарантируете согласованный вывод вашего потока, но снижаете производительность для больших объемов данных, которые лучше подходят для Bulk API 2.0. В некоторых случаях, если ваш поток пытается передать очень большой объем данных, он может завершиться ошибкой с истекшим сроком ожидания.
ServiceNow -> (структура)
Определяет информацию, необходимую для запроса ServiceNow.
object -> (строка)
Singular -> (структура)
Определяет информацию, необходимую для запроса Singular.
object -> (строка)
Slack -> (структура)
Определяет информацию, необходимую для запроса Slack.
object -> (строка)
Trendmicro -> (структура)
Определяет информацию, необходимую для запроса Trend Micro.
object -> (строка)
Veeva -> (структура)
Определяет информацию, необходимую для запроса Veeva.
object -> (строка)
documentType -> (строка)
includeSourceFiles -> (булево)
includeRenditions -> (булево)
includeAllVersions -> (булево)
Zendesk -> (структура)
Определяет информацию, необходимую для запроса Zendesk.
object -> (строка)
SAPOData -> (структура)
Свойства, применяемые при использовании SAPOData в качестве источника потока.
objectPath -> (строка)
parallelismConfig -> (структура)
Устанавливает количество одновременных процессов, которые передают записи OData из вашей системы SAP.
maxParallelism -> (целое число)
paginationConfig -> (структура)
Устанавливает размер страницы для каждого одновременного процесса, передающего записи OData из вашей системы SAP.
maxPageSize -> (целое число)
CustomConnector -> (структура)
Свойства, применяемые при использовании пользовательского подключения в качестве источника.
entityName -> (строка)
customProperties -> (карта)
Дополнительные свойства, необходимые для использования пользовательского подключения в качестве источника.
key -> (строка)
value -> (строка)
dataTransferApi -> (структура)
API приложения подключения, которое Amazon AppFlow использует для передачи данных.
Name -> (строка)
Type -> (строка)
Вы можете указать один из следующих типов:
По умолчанию. Оптимизирует поток для наборов данных, которые меняются по размеру от малых до больших. Для каждого выполнения потока Amazon AppFlow выбирает тип API SYNC или ASYNC в зависимости от количества данных, передаваемых в ходе выполнения.
Синхронный API. Этот тип API оптимизирует поток для наборов данных от небольших до средних.
Асинхронный API. Этот тип API оптимизирует поток для больших наборов данных.
Pardot -> (структура)
Определяет информацию, необходимую для запроса Pardot Salesforce.
object -> (строка)
incrementalPullConfig -> (структура)
Определяет конфигурацию для расписанного инкрементного извлечения данных. Если предоставлена валидная конфигурация, указанные в ней поля используются при запросе инкрементных данных.
datetimeTypeFieldName -> (строка)
Синтаксис JSON:
{
"connectorType": "Salesforce"|"Singular"|"Slack"|"Redshift"|"S3"|"Marketo"|"Googleanalytics"|"Zendesk"|"Servicenow"|"Datadog"|"Trendmicro"|"Snowflake"|"Dynatrace"|"Infornexus"|"Amplitude"|"Veeva"|"EventBridge"|"LookoutMetrics"|"Upsolver"|"Honeycode"|"CustomerProfiles"|"SAPOData"|"CustomConnector"|"Pardot",
"apiVersion": "string",
"connectorProfileName": "string",
"sourceConnectorProperties": {
"Amplitude": {
"object": "string"
},
"Datadog": {
"object": "string"
},
"Dynatrace": {
"object": "string"
},
"GoogleAnalytics": {
"object": "string"
},
"InforNexus": {
"object": "string"
},
"Marketo": {
"object": "string"
},
"S3": {
"bucketName": "string",
"bucketPrefix": "string",
"s3InputFormatConfig": {
"s3InputFileType": "CSV"|"JSON"
}
},
"Salesforce": {
"object": "string",
"enableDynamicFieldUpdate": true|false,
"includeDeletedRecords": true|false,
"dataTransferApi": "AUTOMATIC"|"BULKV2"|"REST_SYNC"
},
"ServiceNow": {
"object": "string"
},
"Singular": {
"object": "string"
},
"Slack": {
"object": "string"
},
"Trendmicro": {
"object": "string"
},
"Veeva": {
"object": "string",
"documentType": "string",
"includeSourceFiles": true|false,
"includeRenditions": true|false,
"includeAllVersions": true|false
},
"Zendesk": {
"object": "string"
},
"SAPOData": {
"objectPath": "string",
"parallelismConfig": {
"maxParallelism": integer
},
"paginationConfig": {
"maxPageSize": integer
}
},
"CustomConnector": {
"entityName": "string",
"customProperties": {"string": "string"
...},
"dataTransferApi": {
"Name": "string",
"Type": "SYNC"|"ASYNC"|"AUTOMATIC"
}
},
"Pardot": {
"object": "string"
}
},
"incrementalPullConfig": {
"datetimeTypeFieldName": "string"
}
}
--destination-flow-config-list (список)
Настройка, определяющая, как Amazon AppFlow помещает данные в подключение назначения.
(структура)
Содержит информацию о настройке подключений назначения, присутствующих в потоке.
connectorType -> (строка)
apiVersion -> (строка)
connectorProfileName -> (строка)
destinationConnectorProperties -> (структура)
Хранит информацию, необходимую для запроса конкретного подключения.
Redshift -> (структура)
Свойства, необходимые для запроса Amazon Redshift.
object -> (строка)
intermediateBucketName -> (строка)
bucketPrefix -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения Amazon Redshift. Например, эта настройка определяет, должен ли поток завершиться после первой ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig является частью подробностей подключения назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
S3 -> (структура)
Свойства, необходимые для запроса Amazon S3.
bucketName -> (строка)
bucketPrefix -> (строка)
s3OutputFormatConfig -> (структура)
Настройка, определяющая, как Amazon AppFlow должен форматировать выходные данные потока при использовании Amazon S3 в качестве пункта назначения.
fileType -> (строка)
prefixConfig -> (структура)
Определяет префикс, который Amazon AppFlow применяет к имени папки в ведре Amazon S3. Вы можете называть папки в соответствии с частотой и датой выполнения потока.
prefixType -> (строка)
prefixFormat -> (строка)
pathPrefixHierarchy -> (список)
Указывает, содержит ли путь к файлу назначения следующие элементы:
Идентификатор, присваиваемый Amazon AppFlow для выполнения потока.
Номер версии вашей схемы данных. Amazon AppFlow присваивает этот номер версии. Номер версии увеличивается на единицу при изменении любых из следующих настроек в вашей конфигурации потока:
- Сопоставления полей от источника к назначению
- Типы данных полей
- Ключи разбиения
(строка)
aggregationConfig -> (структура)
Настройки агрегирования, которые можно использовать для настройки формата выходных данных потока.
aggregationType -> (строка)
targetFileSize -> (длинное целое)
preserveSourceDataTyping -> (булево)
Если формат выходного файла — Parquet, используйте этот параметр, чтобы установить, сохраняет ли Amazon AppFlow типы данных в исходных данных при записи выходных данных в Amazon S3.
-
true: Amazon AppFlow сохраняет типы данных при записи в Amazon S3. Например, целое число или1в исходных данных по-прежнему является целым числом в выходных данных. -
false: Amazon AppFlow преобразует все исходные данные в строки при записи в Amazon S3. Например, целое число1в исходных данных становится строкой"1"на выходе.
Salesforce -> (структура)
Свойства, необходимые для запроса Salesforce.
object -> (строка)
idFieldNames -> (список)
Имя поля, используемого Amazon AppFlow в качестве идентификатора при выполнении операции записи, такой как обновление или удаление.
(строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения Salesforce. Например, эта настройка определяет, должен ли поток завершиться после первой ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig является частью подробностей подключения назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
writeOperationType -> (строка)
UPSERT, необходимо указать idFieldNames.dataTransferApi -> (строка)
Указывает, какой API Salesforce используется Amazon AppFlow при передаче данных в Salesforce.
По умолчанию. Amazon AppFlow выбирает API в зависимости от количества записей, передаваемых потоком в Salesforce. Если поток передает менее 1000 записей, Amazon AppFlow использует Salesforce REST API. Если поток передает 1000 записей или более, Amazon AppFlow использует Salesforce Bulk API 2.0.
Каждый из этих API Salesforce структурирует данные по-разному. Если Amazon AppFlow выбирает API автоматически, имейте в виду, что для повторяющихся потоков выходные данные могут отличаться от одного выполнения потока к другому. Например, если поток выполняется ежедневно, он может использовать REST API в один день для передачи 900 записей, а на следующий день – Bulk API 2.0 для передачи 1100 записей. Для каждого из этих выполнений потока соответствующий API Salesforce форматирует данные по-разному. Некоторые различия включают, как форматируются даты и как представлены нулевые значения. Также Bulk API 2.0 не передает сложные поля Salesforce.
Выбрав этот вариант, вы оптимизируете производительность потока как для небольших, так и для больших передаваемых объемов данных, но компромисс заключается в несогласованном форматировании на выходе.
Amazon AppFlow использует только Salesforce Bulk API 2.0. Этот API выполняет асинхронную передачу данных и оптимален для больших наборов данных. Выбрав этот вариант, вы гарантируете согласованный вывод вашего потока, но оптимизируете производительность только для больших объемов данных.
Обратите внимание, что Bulk API 2.0 не передает сложные поля Salesforce.
Amazon AppFlow использует только Salesforce REST API. Выбрав этот вариант, вы гарантируете согласованный вывод потока, но уменьшите производительность при передаче больших объемов данных, более подходящих для Bulk API 2.0. В некоторых случаях, если поток пытается передать очень большой объем данных, он может завершиться с ошибкой по таймауту.
Snowflake -> (структура)
Свойства, необходимые для запроса Snowflake.
object -> (строка)
intermediateBucketName -> (строка)
bucketPrefix -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения Snowflake. Например, эта настройка определяет, должен ли поток завершиться после первой ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig является частью подробностей подключения назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
EventBridge -> (структура)
Свойства, необходимые для запроса Amazon EventBridge.
object -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения. Например, эта настройка определяет, должен ли поток завершиться после первой ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig является частью подробностей подключения назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
LookoutMetrics -> (структура)
Upsolver -> (структура)
Свойства, необходимые для запроса Upsolver.
bucketName -> (строка)
bucketPrefix -> (строка)
s3OutputFormatConfig -> (структура)
Настройка, определяющая, как данные форматируются при использовании Upsolver в качестве пункта назначения потока.
fileType -> (строка)
prefixConfig -> (структура)
Определяет элементы, которые Amazon AppFlow включает в имена файлов и папок в пункте назначения потока.
prefixType -> (строка)
prefixFormat -> (строка)
pathPrefixHierarchy -> (список)
Определяет, включает ли путь к целевому файлу следующие элементы или оба:
Идентификатор, который Amazon AppFlow присваивает выполнению потока.
Номер версии вашей схемы данных. Amazon AppFlow присваивает этот номер версии. Номер версии увеличивается на единицу, когда вы изменяете любые из следующих параметров в вашей конфигурации потока:
- Сопоставления полей от источника к пункту назначения
- Типы данных полей
- Ключи разбиения
(строка)
aggregationConfig -> (структура)
Настройки агрегации, которые можно использовать для настройки формата вывода данных потока.
aggregationType -> (строка)
targetFileSize -> (целое)
Honeycode -> (структура)
Свойства, необходимые для запроса Amazon Honeycode.
object -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения. Например, эта настройка определяет, должен ли поток завершиться после одной ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig — часть данных о подключении пункта назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
CustomerProfiles -> (структура)
Свойства, необходимые для запроса Amazon Connect Customer Profiles.
domainName -> (строка)
objectTypeName -> (строка)
Zendesk -> (структура)
Свойства, необходимые для запроса Zendesk.
object -> (строка)
idFieldNames -> (список)
Список имён полей, которые можно использовать в качестве идентификационного поля при выполнении операции записи.
(строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения. Например, эта настройка определяет, должен ли поток завершиться после одной ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig — часть данных о подключении пункта назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
writeOperationType -> (строка)
INSERT.Marketo -> (структура)
Свойства, необходимые для запроса Marketo.
object -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения. Например, эта настройка определяет, должен ли поток завершиться после одной ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig — часть данных о подключении пункта назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
CustomConnector -> (структура)
Необходимые свойства для запроса пользовательского подключения.
entityName -> (строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пользовательском подключении в качестве пункта назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
writeOperationType -> (строка)
idFieldNames -> (список)
Имя поля, которое Amazon AppFlow использует в качестве идентификатора при выполнении операции записи, такой как обновление, удаление или добавление.
(строка)
customProperties -> (карта)
Настраиваемые свойства, специфичные для подключения, когда оно используется в качестве пункта назначения в потоке.
key -> (строка)
value -> (строка)
SAPOData -> (структура)
Свойства, необходимые для запроса SAPOData.
objectPath -> (строка)
successResponseHandlingConfig -> (структура)
Определяет, как Amazon AppFlow обрабатывает ответ об успехе, полученный от подключения после размещения данных.
Например, эта настройка определяет, куда записывать ответ из подключения пункта назначения после успешной операции вставки.
bucketPrefix -> (строка)
bucketName -> (строка)
idFieldNames -> (список)
Список имён полей, которые можно использовать в качестве идентификационного поля при выполнении операции записи.
(строка)
errorHandlingConfig -> (структура)
Настройки, определяющие, как Amazon AppFlow обрабатывает ошибку при размещении данных в пункте назначения. Например, эта настройка определяет, должен ли поток завершиться после одной ошибки вставки или продолжить и попытаться вставить каждую запись независимо от первоначальной ошибки. ErrorHandlingConfig — часть данных о подключении пункта назначения.
failOnFirstDestinationError -> (булево)
bucketPrefix -> (строка)
bucketName -> (строка)
writeOperationType -> (строка)
INSERT.Синтаксис JSON:
[
{
"connectorType": "Salesforce"|"Singular"|"Slack"|"Redshift"|"S3"|"Marketo"|"Googleanalytics"|"Zendesk"|"Servicenow"|"Datadog"|"Trendmicro"|"Snowflake"|"Dynatrace"|"Infornexus"|"Amplitude"|"Veeva"|"EventBridge"|"LookoutMetrics"|"Upsolver"|"Honeycode"|"CustomerProfiles"|"SAPOData"|"CustomConnector"|"Pardot",
"apiVersion": "string",
"connectorProfileName": "string",
"destinationConnectorProperties": {
"Redshift": {
"object": "string",
"intermediateBucketName": "string",
"bucketPrefix": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
}
},
"S3": {
"bucketName": "string",
"bucketPrefix": "string",
"s3OutputFormatConfig": {
"fileType": "CSV"|"JSON"|"PARQUET",
"prefixConfig": {
"prefixType": "FILENAME"|"PATH"|"PATH_AND_FILENAME",
"prefixFormat": "YEAR"|"MONTH"|"DAY"|"HOUR"|"MINUTE",
"pathPrefixHierarchy": ["EXECUTION_ID"|"SCHEMA_VERSION", ...]
},
"aggregationConfig": {
"aggregationType": "None"|"SingleFile",
"targetFileSize": long
},
"preserveSourceDataTyping": true|false
}
},
"Salesforce": {
"object": "string",
"idFieldNames": ["string", ...],
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
},
"writeOperationType": "INSERT"|"UPSERT"|"UPDATE"|"DELETE",
"dataTransferApi": "AUTOMATIC"|"BULKV2"|"REST_SYNC"
},
"Snowflake": {
"object": "string",
"intermediateBucketName": "string",
"bucketPrefix": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
}
},
"EventBridge": {
"object": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
}
},
"LookoutMetrics": {
},
"Upsolver": {
"bucketName": "string",
"bucketPrefix": "string",
"s3OutputFormatConfig": {
"fileType": "CSV"|"JSON"|"PARQUET",
"prefixConfig": {
"prefixType": "FILENAME"|"PATH"|"PATH_AND_FILENAME",
"prefixFormat": "YEAR"|"MONTH"|"DAY"|"HOUR"|"MINUTE",
"pathPrefixHierarchy": ["EXECUTION_ID"|"SCHEMA_VERSION", ...]
},
"aggregationConfig": {
"aggregationType": "None"|"SingleFile",
"targetFileSize": long
}
}
},
"Honeycode": {
"object": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
}
},
"CustomerProfiles": {
"domainName": "string",
"objectTypeName": "string"
},
"Zendesk": {
"object": "string",
"idFieldNames": ["string", ...],
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
},
"writeOperationType": "INSERT"|"UPSERT"|"UPDATE"|"DELETE"
},
"Marketo": {
"object": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
}
},
"CustomConnector": {
"entityName": "string",
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
},
"writeOperationType": "INSERT"|"UPSERT"|"UPDATE"|"DELETE",
"idFieldNames": ["string", ...],
"customProperties": {"string": "string"
...}
},
"SAPOData": {
"objectPath": "string",
"successResponseHandlingConfig": {
"bucketPrefix": "string",
"bucketName": "string"
},
"idFieldNames": ["string", ...],
"errorHandlingConfig": {
"failOnFirstDestinationError": true|false,
"bucketPrefix": "string",
"bucketName": "string"
},
"writeOperationType": "INSERT"|"UPSERT"|"UPDATE"|"DELETE"
}
}
}
...
]
--tasks (список)
Список задач, которые Amazon AppFlow выполняет при передаче данных в ходе выполнения потока.
(структура)
Класс для моделирования различных типов задач. Реализация задач варьируется в зависимости от TaskType.
sourceFields -> (список)
Поля источника, к которым применяется конкретная задача.
(строка)
connectorOperator -> (структура)
Операция, которая должна быть выполнена над предоставленными полями источника.
Amplitude -> (строка)
Datadog -> (строка)
Dynatrace -> (строка)
GoogleAnalytics -> (строка)
InforNexus -> (строка)
Marketo -> (строка)
S3 -> (строка)
Salesforce -> (строка)
ServiceNow -> (строка)
Singular -> (строка)
Slack -> (строка)
Trendmicro -> (строка)
Veeva -> (строка)
Zendesk -> (строка)
SAPOData -> (строка)
CustomConnector -> (строка)
Pardot -> (строка)
destinationField -> (строка)
taskType -> (строка)
taskProperties -> (карта)
Карта, используемая для хранения информации, связанной с задачей. Служба выполнения ищет конкретную информацию на основе TaskType.
key -> (строка)
value -> (строка)
Сокращенная синтаксическая запись:
sourceFields=string,string,connectorOperator={Amplitude=string,Datadog=string,Dynatrace=string,GoogleAnalytics=string,InforNexus=string,Marketo=string,S3=string,Salesforce=string,ServiceNow=string,Singular=string,Slack=string,Trendmicro=string,Veeva=string,Zendesk=string,SAPOData=string,CustomConnector=string,Pardot=string},destinationField=string,taskType=string,taskProperties={KeyName1=string,KeyName2=string} ...
Синтаксис JSON:
[
{
"sourceFields": ["string", ...],
"connectorOperator": {
"Amplitude": "BETWEEN",
"Datadog": "PROJECTION"|"BETWEEN"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Dynatrace": "PROJECTION"|"BETWEEN"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"GoogleAnalytics": "PROJECTION"|"BETWEEN",
"InforNexus": "PROJECTION"|"BETWEEN"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Marketo": "PROJECTION"|"LESS_THAN"|"GREATER_THAN"|"BETWEEN"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"S3": "PROJECTION"|"LESS_THAN"|"GREATER_THAN"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Salesforce": "PROJECTION"|"LESS_THAN"|"CONTAINS"|"GREATER_THAN"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"ServiceNow": "PROJECTION"|"CONTAINS"|"LESS_THAN"|"GREATER_THAN"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Singular": "PROJECTION"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Slack": "PROJECTION"|"LESS_THAN"|"GREATER_THAN"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Trendmicro": "PROJECTION"|"EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Veeva": "PROJECTION"|"LESS_THAN"|"GREATER_THAN"|"CONTAINS"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Zendesk": "PROJECTION"|"GREATER_THAN"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"SAPOData": "PROJECTION"|"LESS_THAN"|"CONTAINS"|"GREATER_THAN"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"CustomConnector": "PROJECTION"|"LESS_THAN"|"GREATER_THAN"|"CONTAINS"|"BETWEEN"|"LESS_THAN_OR_EQUAL_TO"|"GREATER_THAN_OR_EQUAL_TO"|"EQUAL_TO"|"NOT_EQUAL_TO"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"|"NO_OP",
"Pardot": "PROJECTION"|"EQUAL_TO"|"NO_OP"|"ADDITION"|"MULTIPLICATION"|"DIVISION"|"SUBTRACTION"|"MASK_ALL"|"MASK_FIRST_N"|"MASK_LAST_N"|"VALIDATE_NON_NULL"|"VALIDATE_NON_ZERO"|"VALIDATE_NON_NEGATIVE"|"VALIDATE_NUMERIC"
},
"destinationField": "string",
"taskType": "Arithmetic"|"Filter"|"Map"|"Map_all"|"Mask"|"Merge"|"Passthrough"|"Truncate"|"Validate"|"Partition",
"taskProperties": {"VALUE"|"VALUES"|"DATA_TYPE"|"UPPER_BOUND"|"LOWER_BOUND"|"SOURCE_DATA_TYPE"|"DESTINATION_DATA_TYPE"|"VALIDATION_ACTION"|"MASK_VALUE"|"MASK_LENGTH"|"TRUNCATE_LENGTH"|"MATH_OPERATION_FIELDS_ORDER"|"CONCAT_FORMAT"|"SUBFIELD_CATEGORY_MAP"|"EXCLUDE_SOURCE_FIELDS_LIST"|"INCLUDE_NEW_FIELDS"|"ORDERED_PARTITION_KEYS_LIST": "string"
...}
}
...
]
--tags (карта)
Теги, используемые для организации, отслеживания или управления доступом к вашему потоку.
key -> (строка)
value -> (строка)
Сокращенная синтаксическая запись:
KeyName1=string,KeyName2=string
Синтаксис JSON:
{"string": "string"
...}
--metadata-catalog-config (структура)
Указывает конфигурацию, которую Amazon AppFlow использует при каталогизации данных, передаваемых связанным потоком. Когда Amazon AppFlow каталогизирует данные из потока, он сохраняет метаданные в каталоге данных.
glueDataCatalog -> (структура)
Указывает конфигурацию, которую Amazon AppFlow использует при каталогизации данных с помощью Glue Data Catalog.
roleArn -> (строка)
Amazon Resource Name (ARN) роли IAM, предоставляющей Amazon AppFlow необходимые разрешения для создания таблиц, баз данных и партиций каталога данных.
Пример политики IAM с необходимыми разрешениями см. в Identity-based policy examples for Amazon AppFlow.
databaseName -> (строка)
Имя базы данных каталога данных, в которой хранятся таблицы метаданных, создаваемые Amazon AppFlow в вашем аккаунте Amazon Web Services. Эти таблицы содержат метаданные для данных, передаваемых потоком, который вы настраиваете с помощью этого параметра.
Примечание
При настройке нового потока с этим параметром необходимо указать существующую базу данных.tablePrefix -> (строка)
Сокращенная синтаксическая запись:
glueDataCatalog={roleArn=string,databaseName=string,tablePrefix=string}
Синтаксис JSON:
{
"glueDataCatalog": {
"roleArn": "string",
"databaseName": "string",
"tablePrefix": "string"
}
}
--client-token (строка)
Параметр clientToken — это маркер идемпотентности. Он гарантирует, что ваш запрос CreateFlow завершится только один раз. Вы выбираете значение для передачи. Например, если вы не получаете ответа от вашего запроса, вы можете безопасно повторить запрос со значением того же параметра clientToken.
Если вы опустите значение clientToken, используемый Amazon Web Services SDK вставит значение за вас. Таким образом, SDK может безопасно повторно отправлять запросы несколько раз после сетевой ошибки. Вы должны предоставить собственное значение для других случаев использования.
Если вы укажете входные параметры, отличающиеся от первого запроса, произойдет ошибка. Если вы используете другое значение для clientToken, Amazon AppFlow рассматривает это как новый вызов для CreateFlow. Токен активен в течение 8 часов.
--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если другие аргументы указаны в командной строке, эти значения переопределяют значения, предоставленные JSON. Невозможно передать произвольные двоичные значения с помощью значения, предоставленного JSON, так как строка будет интерпретироваться буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение по умолчанию или значение input, выводит пример JSON ввода, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, выведет пример YAML ввода, который можно использовать с --cli-input-yaml. Если предоставлено значение output, он проверит входные данные команды и вернет пример выходного JSON для этой команды. Сгенерированный JSON-скелет не стабилен между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Глобальные параметры
--debug (логическое значение)
Включить отладку логирования.
--endpoint-url (строка)
Переопределить URL по умолчанию команды заданным URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого SSL-соединения AWS CLI проверит сертификаты SSL. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.
--no-paginate (логическое значение)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования для вывода команды.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использование определенного профиля из файла учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- включено
- выключено
- автоматически
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.
--ca-bundle (строка)
Набор сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь ограничения по времени. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь ограничения по времени. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования для использования с двоичными блоками. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как закодированная строка base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок fileb://, всегда будет обрабатываться как двоичный и использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить пейджер cli для вывода.
--cli-auto-prompt (логическое значение)
Автоматически запрашивать входные параметры CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматическое запросы входных параметров CLI.
Вывод
flowArn -> (строка)
flowStatus -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.