create-delivery-stream
Описание
Создаёт поток Firehose.
По умолчанию можно создать до 5000 потоков Firehose на каждую область Amazon Web Services.
Это асинхронная операция, которая сразу возвращает результат. Начальный статус потока Firehose — CREATING. После создания статус потока Firehose меняется на ACTIVE, и он начинает принимать данные. Если создание потока Firehose завершится неудачно, статус переходит в CREATING_FAILED. Попытки отправки данных в поток, не находящийся в состоянии ACTIVE, приводят к исключению. Для проверки состояния потока Firehose используйте DescribeDeliveryStream.
Если статус потока Firehose — CREATING_FAILED, этот статус не меняется, и вы не можете повторно вызвать CreateDeliveryStream. Однако вы можете вызвать операцию DeleteDeliveryStream для удаления потока.
Поток Firehose может быть настроен для прямого получения записей от поставщиков с помощью PutRecord или PutRecordBatch, или он может быть настроен для использования существующего потока Kinesis в качестве источника. Для указания потока данных Kinesis в качестве входного источника установите параметр DeliveryStreamType в значение KinesisStreamAsSource и укажите ARN потока Kinesis и ARN роли в параметре KinesisStreamSourceConfiguration.
Для создания потока Firehose с включённым шифрованием на стороне сервера (SSE) добавьте DeliveryStreamEncryptionConfigurationInput в свой запрос. Это необязательно. Вы также можете вызвать StartDeliveryStreamEncryption, чтобы включить SSE для существующего потока Firehose, у которого SSE не включено.
Поток Firehose настраивается на один пункт назначения, например, Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Splunk и любой пользовательский HTTP-точку входа или HTTP-точки входа, принадлежащие или поддерживаемые сторонними поставщиками услуг, включая Datadog, Dynatrace, LogicMonitor, MongoDB, New Relic и Sumo Logic. Вы должны указать только один из следующих параметров конфигурации назначения: ExtendedS3DestinationConfiguration, S3DestinationConfiguration, ElasticsearchDestinationConfiguration, RedshiftDestinationConfiguration или SplunkDestinationConfiguration.
При указании S3DestinationConfiguration, вы также можете указать следующие необязательные значения: BufferingHints, EncryptionConfiguration и CompressionFormat. По умолчанию, если значение BufferingHints не указано, Firehose буферизует данные до 5 МБ или в течение 5 минут, в зависимости от того, какое условие выполняется раньше. BufferingHints — это подсказка, поэтому есть случаи, когда служба не может строго придерживаться этих условий. Например, границы записей могут быть такими, что размер немного больше или меньше, чем заданный размер буферизации. По умолчанию шифрование не выполняется. Мы настоятельно рекомендуем включить шифрование, чтобы обеспечить безопасное хранение данных в Amazon S3.
Несколько замечаний об Amazon Redshift в качестве пункта назначения:
- Для пункта назначения Amazon Redshift требуется ведро Amazon S3 в качестве промежуточного расположения. Firehose сначала отправляет данные в Amazon S3, а затем использует синтаксис
COPYдля загрузки данных в таблицу Amazon Redshift. Это указывается в параметреRedshiftDestinationConfiguration.S3Configuration. - Форматы сжатия
SNAPPYилиZIPне могут быть указаны вRedshiftDestinationConfiguration.S3Configuration, потому что операция Amazon RedshiftCOPY, которая считывает данные из ведра S3, не поддерживает эти форматы сжатия. - Мы настоятельно рекомендуем использовать имя пользователя и пароль, которые вы предоставляете только Firehose, и что разрешения для учетной записи ограничены разрешениями Amazon Redshift
INSERT.
Firehose использует IAM-роль, настроенную в качестве части пункта назначения. Эта роль должна разрешать Firehose-принципалу принять на себя роль, а роль должна иметь разрешения, которые позволяют службе отправлять данные. Дополнительную информацию см. в разделе Grant Firehose Access to an Amazon S3 Destination в Руководстве разработчика Amazon Firehose.
См. также: Документация AWS API
Синтаксис
create-delivery-stream
--delivery-stream-name <value>
[--delivery-stream-type <value>]
[--direct-put-source-configuration <value>]
[--kinesis-stream-source-configuration <value>]
[--delivery-stream-encryption-configuration-input <value>]
[--s3-destination-configuration <value>]
[--extended-s3-destination-configuration <value>]
[--redshift-destination-configuration <value>]
[--elasticsearch-destination-configuration <value>]
[--amazonopensearchservice-destination-configuration <value>]
[--splunk-destination-configuration <value>]
[--http-endpoint-destination-configuration <value>]
[--tags <value>]
[--amazon-open-search-serverless-destination-configuration <value>]
[--msk-source-configuration <value>]
[--snowflake-destination-configuration <value>]
[--iceberg-destination-configuration <value>]
[--database-source-configuration <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--delivery-stream-name (строка)
--delivery-stream-type (строка)
Тип потока Firehose. Этот параметр может принимать одно из следующих значений:
-
DirectPut: Приложения-поставщики имеют прямой доступ к потоку Firehose. -
KinesisStreamAsSource: Поток Firehose использует поток данных Kinesis в качестве источника.
Возможные значения:
DirectPutKinesisStreamAsSourceMSKAsSourceDatabaseAsSource
--direct-put-source-configuration (структура)
Структура, настраивающая параметры, такие как ThroughputHintInMBs для потока, настроенного с Direct PUT в качестве источника.
ThroughputHintInMBs -> (целое число)
Сокращенная синтаксическая запись:
ThroughputHintInMBs=integer
Синтаксис JSON:
{
"ThroughputHintInMBs": integer
}
--kinesis-stream-source-configuration (структура)
Когда поток данных Kinesis используется в качестве источника для потока Firehose, KinesisStreamSourceConfiguration содержит Amazon Resource Name (ARN) потока данных Kinesis и ARN роли для исходного потока.
KinesisStreamARN -> (строка)
RoleARN -> (строка)
Сокращенная синтаксическая запись:
KinesisStreamARN=string,RoleARN=string
Синтаксис JSON:
{
"KinesisStreamARN": "string",
"RoleARN": "string"
}
--delivery-stream-encryption-configuration-input (структура)
Используется для указания типа и Amazon Resource Name (ARN) ключа KMS, необходимого для шифрования на стороне сервера (SSE).
KeyARN -> (строка)
KeyType в значение CUSTOMER_MANAGED_CMK , вы должны указать Amazon Resource Name (ARN) CMK. Если вы установите KeyType в значение Amazon Web Services_OWNED_CMK , Firehose использует CMK службы.KeyType -> (строка)
Указывает тип ключа шифрования (CMK) для использования. Значение по умолчанию - Amazon Web Services_OWNED_CMK . Дополнительную информацию о CMK см. в разделе Ключи шифрования заказчика (CMKs). При вызове CreateDeliveryStream или StartDeliveryStreamEncryption с параметром KeyType, установленным в значение CUSTOMER_MANAGED_CMK, Firehose вызывает операцию Amazon KMS CreateGrant для создания разрешения, которое позволяет службе Firehose использовать управляемый заказчиком CMK для шифрования и дешифрования. Firehose управляет этим разрешением.
При вызове StartDeliveryStreamEncryption для изменения CMK для потока Firehose, который зашифрован с использованием управляемого заказчиком CMK, Firehose планирует вывод предоставленного разрешения на старый CMK.
Вы можете использовать CMK типа CUSTOMER_MANAGED_CMK для шифрования до 500 потоков Firehose. Если операция CreateDeliveryStream или StartDeliveryStreamEncryption превысит этот лимит, Firehose выбросит ошибку LimitExceededException .
Предупреждение
Для шифрования вашего потока Firehose используйте симметричные CMK. Firehose не поддерживает асимметричные CMK. Дополнительную информацию о симметричных и асимметричных CMK см. в руководстве разработчика Amazon Web Services Key Management Service (о симметричных и асимметричных CMK).Сокращенная синтаксическая запись:
KeyARN=string,KeyType=string
Синтаксис JSON:
{
"KeyARN": "string",
"KeyType": "AWS_OWNED_CMK"|"CUSTOMER_MANAGED_CMK"
}
--s3-destination-configuration (структура)
[Устарело] Пункт назначения в Amazon S3. Вы можете указать только один пункт назначения.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой их в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется задавать этот параметр значением, превышающим объем данных, которые вы обычно вводите в поток Firehose за 10 секунд. Например, если вы обычно вводите данные со скоростью 1 MiB/с, значение должно составлять 10 MiB или более.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, шифрование не используется по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
Сокращенная синтаксическая запись:
RoleARN=string,BucketARN=string,Prefix=string,ErrorOutputPrefix=string,BufferingHints={SizeInMBs=integer,IntervalInSeconds=integer},CompressionFormat=string,EncryptionConfiguration={NoEncryptionConfig=string,KMSEncryptionConfig={AWSKMSKeyARN=string}},CloudWatchLoggingOptions={Enabled=boolean,LogGroupName=string,LogStreamName=string}
Синтаксис JSON:
{
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
}
--extended-s3-destination-configuration (структура)
Назначение в Amazon S3. Вы можете указать только одно назначение.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед передачей их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, по умолчанию шифрование отсутствует.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Конфигурация обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord как тип обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Значение BufferSizeInMBs колеблется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
S3BackupConfiguration -> (структура)
Настройка резервного копирования в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед передачей их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, по умолчанию шифрование отсутствует.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
DataFormatConversionConfiguration -> (структура)
Сериализатор, десериализатор и схема для преобразования данных из формата JSON в формат Parquet или ORC перед записью их в Amazon S3.
SchemaConfiguration -> (структура)
Указывает таблицу каталога данных Amazon Web Services Glue, содержащую информацию о столбцах. Этот параметр обязателен, если Enabled установлен в значение true.
RoleARN -> (строка)
Роль, которую Firehose может использовать для доступа к Amazon Web Services Glue. Эта роль должна находиться в том же аккаунте, что и Firehose. Роли между аккаунтами недопустимы.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство RoleARN обязательно и должно быть указано.CatalogId -> (строка)
DatabaseName -> (строка)
Указывает имя базы данных Amazon Web Services Glue, содержащей схему для выходных данных.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство DatabaseName обязательно и должно быть указано.TableName -> (строка)
Указывает таблицу Amazon Web Services Glue, содержащую информацию о столбцах, которая составляет схему ваших данных.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство TableName обязательно и должно быть указано.Region -> (строка)
VersionId -> (строка)
LATEST, Firehose использует самую последнюю версию. Это означает, что любые обновления таблицы автоматически подхватываются.InputFormatConfiguration -> (структура)
Указывает десериализатор, который вы хотите использовать Firehose для преобразования формата ваших данных из JSON. Этот параметр обязателен, если Enabled установлен в значение true.
Deserializer -> (структура)
Указывает, какой десериализатор использовать. Вы можете выбрать Apache Hive JSON SerDe или OpenX JSON SerDe. Если оба не null, сервер отклоняет запрос.
OpenXJsonSerDe -> (структура)
OpenX SerDe. Используется Firehose для десериализации данных, что означает преобразование их из формата JSON в подготовку к сериализации в формат Parquet или ORC. Это один из двух десериализаторов, которые вы можете выбрать, в зависимости от того, какой из них предоставляет необходимые функции. Другой вариант — собственный Hive / HCatalog JsonSerDe.
ConvertDotsInJsonKeysToUnderscores -> (булево)
При установке в значение true указывает, что имена ключей содержат точки, и вы хотите, чтобы Firehose заменил их на подчеркивания. Это полезно, потому что Apache Hive не допускает точек в именах столбцов. Например, если JSON содержит ключ с именем «a.b», вы можете определить имя столбца как «a_b» при использовании этого параметра.
Значение по умолчанию — false.
CaseInsensitive -> (булево)
true, что является значением по умолчанию, Firehose преобразует ключи JSON в нижний регистр перед десериализацией.ColumnToJsonKeyMappings -> (отображение)
Сопоставляет имена столбцов с ключами JSON, которые не идентичны именам столбцов. Это полезно, когда JSON содержит ключи, являющиеся ключевыми словами Hive. Например, timestamp — ключевое слово Hive. Если у вас есть ключ JSON с именем timestamp, установите этот параметр в значение {"ts": "timestamp"}, чтобы сопоставить этот ключ со столбцом с именем ts.
key -> (строка)
value -> (строка)
HiveJsonSerDe -> (структура)
Нативный Hive / HCatalog JsonSerDe. Используется Firehose для десериализации данных, что означает преобразование их из формата JSON в подготовку к сериализации в формат Parquet или ORC. Это один из двух десериализаторов, которые вы можете выбрать, в зависимости от того, какой из них предоставляет необходимые функции. Другой вариант — OpenX SerDe.
TimestampFormats -> (список)
Указывает, как Firehose должен анализировать даты и временные метки, которые могут присутствовать в ваших входных данных JSON. Для указания этих строк формата следуйте синтаксису шаблонов JodaTime’s DateTimeFormat format strings. Для получения дополнительной информации см. класс DateTimeFormat . Вы также можете использовать специальное значение millis для анализа временных меток в миллисекундах эпохи. Если вы не укажете формат, Firehose использует значение java.sql.Timestamp::valueOf по умолчанию.
(строка)
OutputFormatConfiguration -> (структура)
Указывает сериализатор, который вы хотите использовать Firehose для преобразования формата ваших данных в формат Parquet или ORC. Этот параметр обязателен, если Enabled установлен в значение true.
Serializer -> (структура)
Указывает, какой сериализатор использовать. Вы можете выбрать ORC SerDe или Parquet SerDe. Если оба не null, сервер отклоняет запрос.
ParquetSerDe -> (структура)
Сериализатор для преобразования данных в формат Parquet перед сохранением их в Amazon S3. Дополнительную информацию см. в Apache Parquet.
BlockSizeBytes -> (целое число)
PageSizeBytes -> (целое число)
Compression -> (строка)
UNCOMPRESSED, SNAPPY и GZIP, значение по умолчанию — SNAPPY. Используйте SNAPPY для повышения скорости декомпрессии. Используйте GZIP, если более важен коэффициент сжатия, чем скорость.EnableDictionaryCompression -> (булево)
MaxPaddingBytes -> (целое число)
WriterVersion -> (строка)
V1 и V2. Значение по умолчанию — V1.OrcSerDe -> (структура)
Сериализатор для преобразования данных в формат ORC перед сохранением их в Amazon S3. Дополнительную информацию см. в Apache ORC.
StripeSizeBytes -> (целое число)
BlockSizeBytes -> (целое число)
RowIndexStride -> (целое число)
EnablePadding -> (булево)
true, чтобы указать, что вы хотите, чтобы полосы были заполнены до границ блоков HDFS. Это полезно, если вы планируете копировать данные из Amazon S3 в HDFS перед запросом. Значение по умолчанию — false.PaddingTolerance -> (двойное число)
Число от 0 до 1, которое определяет допуск для заполнения блоков в виде десятичной дроби размера полосы. Значение по умолчанию — 0,05, что составляет 5 процентов размера полосы.
Для значений по умолчанию 64 МБ полос ORC и 256 МБ блоков HDFS значение по умолчанию для допуска заполнения блоков 5 процентов резервирует максимум 3,2 МБ для заполнения в пределах блока 256 МБ. В таком случае, если доступный размер в блоке превышает 3,2 МБ, вставляется новая, меньшая полоса, чтобы поместиться в это пространство. Это гарантирует, что никакая полоса не пересекает границы блоков и не вызывает удаленные чтения в задаче на уровне узла.
Firehose игнорирует этот параметр, когда OrcSerDe$EnablePadding имеет значение false.
Compression -> (строка)
SNAPPY.BloomFilterColumns -> (список)
Имена столбцов, для которых вы хотите, чтобы Firehose создавал фильтры Bloom. Значение по умолчанию — null.
(строка)
BloomFilterFalsePositiveProbability -> (двойное число)
DictionaryKeyThreshold -> (двойное число)
FormatVersion -> (строка)
V0_11 и V0_12. Значение по умолчанию — V0_12.Enabled -> (булево)
true. Установите в значение false, если вы хотите отключить преобразование формата, сохранив при этом детали конфигурации.DynamicPartitioningConfiguration -> (структура)
Конфигурация механизма динамического разбиения, который создает меньшие наборы данных из потоковых данных, разбивая их на основе ключей разбиения. В настоящее время динамическое разбиение поддерживается только для назначений Amazon S3.
RetryOptions -> (структура)
Поведение повторных попыток, если Firehose не может доставить данные в префикс Amazon S3.
DurationInSeconds -> (целое число)
Enabled -> (булево)
FileExtension -> (строка)
CustomTimeZone -> (строка)
Синтаксис JSON:
{
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "Disabled"|"Enabled",
"S3BackupConfiguration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"DataFormatConversionConfiguration": {
"SchemaConfiguration": {
"RoleARN": "string",
"CatalogId": "string",
"DatabaseName": "string",
"TableName": "string",
"Region": "string",
"VersionId": "string"
},
"InputFormatConfiguration": {
"Deserializer": {
"OpenXJsonSerDe": {
"ConvertDotsInJsonKeysToUnderscores": true|false,
"CaseInsensitive": true|false,
"ColumnToJsonKeyMappings": {"string": "string"
...}
},
"HiveJsonSerDe": {
"TimestampFormats": ["string", ...]
}
}
},
"OutputFormatConfiguration": {
"Serializer": {
"ParquetSerDe": {
"BlockSizeBytes": integer,
"PageSizeBytes": integer,
"Compression": "UNCOMPRESSED"|"GZIP"|"SNAPPY",
"EnableDictionaryCompression": true|false,
"MaxPaddingBytes": integer,
"WriterVersion": "V1"|"V2"
},
"OrcSerDe": {
"StripeSizeBytes": integer,
"BlockSizeBytes": integer,
"RowIndexStride": integer,
"EnablePadding": true|false,
"PaddingTolerance": double,
"Compression": "NONE"|"ZLIB"|"SNAPPY",
"BloomFilterColumns": ["string", ...],
"BloomFilterFalsePositiveProbability": double,
"DictionaryKeyThreshold": double,
"FormatVersion": "V0_11"|"V0_12"
}
}
},
"Enabled": true|false
},
"DynamicPartitioningConfiguration": {
"RetryOptions": {
"DurationInSeconds": integer
},
"Enabled": true|false
},
"FileExtension": "string",
"CustomTimeZone": "string"
}
--redshift-destination-configuration (структура)
Назначение в Amazon Redshift. Вы можете указать только одно назначение.
RoleARN -> (строка)
ClusterJDBCURL -> (строка)
CopyCommand -> (структура)
Команда COPY.
DataTableName -> (строка)
DataTableColumns -> (строка)
CopyOptions -> (строка)
Необязательные параметры для использования с командой Amazon Redshift COPY. Дополнительную информацию см. в разделе «Необязательные параметры» команды Amazon Redshift COPY . Некоторые возможные примеры, которые будут применимы к Firehose, представлены ниже:
delimiter '\t' lzop; — поля разделяются символом табуляции (TAB) и сжимаются с помощью lzop.
delimiter '|' — поля разделяются символом «|» (это разделитель по умолчанию).
delimiter '|' escape — разделитель должен быть экранирован.
fixedwidth 'venueid:3,venuename:25,venuecity:12,venuestate:2,venueseats:6' — поля в источнике имеют фиксированную ширину, и каждая ширина указана после каждого столбца в таблице.
JSON 's3://mybucket/jsonpaths.txt' — данные находятся в формате JSON, и указанный путь соответствует формату данных.
Дополнительные примеры см. в примерах использования команды Amazon Redshift COPY.
Username -> (строка)
Password -> (строка)
RetryOptions -> (структура)
Поведение повторных попыток в случае, если Firehose не может доставить документы в Amazon Redshift. Значение по умолчанию — 3600 (60 минут).
DurationInSeconds -> (целое число)
DurationInSeconds равно 0 (ноль), или если первая попытка доставки занимает больше времени, чем текущее значение.S3Configuration -> (структура)
Настройка промежуточного расположения Amazon S3, из которого Amazon Redshift получает данные. Ограничения описаны в теме CreateDeliveryStream .
Форматы сжатия SNAPPY или ZIP не могут быть указаны в RedshiftDestinationConfiguration.S3Configuration, потому что операция Amazon Redshift COPY, которая считывает данные из S3-бакета, не поддерживает эти форматы сжатия.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Опция буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой их в пункт назначения. Значение по умолчанию — 5. Этот параметр является необязательным, но если вы укажете значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из S3-бакета.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию используется отсутствие шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Настройка обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую строку-разделитель между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение по умолчанию для буферизации — 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение по умолчанию для буферизации — 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
S3BackupConfiguration -> (структура)
Настройка резервного копирования в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Опция буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой их в пункт назначения. Значение по умолчанию — 5. Этот параметр является необязательным, но если вы укажете значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из S3-бакета.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию используется отсутствие шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (boolean)
LogGroupName -> (string)
LogStreamName -> (string)
SecretsManagerConfiguration -> (структура)
Настройка, определяющая, как вы получаете доступ к секретам для Amazon Redshift.
SecretARN -> (string)
True .RoleARN -> (string)
Enabled -> (boolean)
True конфигурация Secrets Manager переписывает существующие секреты в конфигурации назначения. Если установлено значение False, Firehose возвращается к учетным данным в конфигурации назначения.Синтаксис JSON:
{
"RoleARN": "string",
"ClusterJDBCURL": "string",
"CopyCommand": {
"DataTableName": "string",
"DataTableColumns": "string",
"CopyOptions": "string"
},
"Username": "string",
"Password": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "Disabled"|"Enabled",
"S3BackupConfiguration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--elasticsearch-destination-configuration (структура)
Назначение в Amazon OpenSearch Service. Вы можете указать только одно назначение.
RoleARN -> (string)
DomainARN -> (string)
ARN домена Amazon OpenSearch Service. Роль IAM должна иметь разрешения для DescribeDomain, DescribeDomains и DescribeDomainConfig после принятия роли, указанной в RoleARN. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.
Укажите либо ClusterEndpoint, либо DomainARN.
ClusterEndpoint -> (string)
ClusterEndpoint, либо поле DomainARN.IndexName -> (string)
TypeName -> (string)
Имя типа Elasticsearch. Для Elasticsearch 6.x может быть только один тип на индекс. Если вы попытаетесь указать новый тип для существующего индекса, который уже имеет другой тип, Firehose вернет ошибку во время выполнения.
Для Elasticsearch 7.x не указывайте TypeName.
IndexRotationPeriod -> (string)
IndexName для облегчения истечения срока действия старых данных. Дополнительную информацию см. в разделе Вращение индексов для назначения Amazon OpenSearch Service. Значение по умолчанию — OneDay.BufferingHints -> (структура)
Параметры буферизации. Если не указано значение, используются значения по умолчанию для ElasticsearchBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в назначение. Значение по умолчанию — 5.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.
RetryOptions -> (структура)
Поведение повторных попыток в случае, если Firehose не может передать документы в Amazon OpenSearch Service. Значение по умолчанию — 300 (5 минут).
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
Определяет, как документы должны быть переданы в Amazon S3. При установке в значение FailedDocumentsOnly Firehose записывает все документы, которые не были проиндексированы, в указанное назначение Amazon S3 с добавленным префиксом AmazonOpenSearchService-failed/. При установке в значение AllDocuments Firehose передает все входящие записи в Amazon S3 и также записывает необработанные документы с добавленным префиксом AmazonOpenSearchService-failed/. Дополнительную информацию см. в разделе Резервное копирование в Amazon S3 для назначения Amazon OpenSearch Service. Значение по умолчанию — FailedDocumentsOnly.
Вы не можете изменить этот режим резервного копирования после создания потока Firehose.
S3Configuration -> (структура)
Конфигурация резервного расположения Amazon S3.
RoleARN -> (string)
BucketARN -> (string)
Prefix -> (string)
ErrorOutputPrefix -> (string)
BufferingHints -> (структура)
Параметр буферизации. Если не указано значение, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в мегабайтах (MiB) перед передачей их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если не указано значение, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, потому что они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если не указано значение, шифрование не используется.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (boolean)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Конфигурация обработки данных.
Enabled -> (boolean)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (boolean)
LogGroupName -> (строка)
LogStreamName -> (строка)
VpcConfiguration -> (структура)
Подробности VPC-цели Amazon.
SubnetIds -> (список)
Идентификаторы подсетей, которые вы хотите использовать Firehose для создания ENI в VPC-цели Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входного и выходного трафика позволяют трафику проходить из подсетей, идентификаторы которых указаны здесь, в подсети с целевыми конечными точками Amazon OpenSearch Service. Firehose создает как минимум один ENI в каждой из указанных подсетей. Не удаляйте и не изменяйте эти ENI.
Количество ENI, создаваемых Firehose в указанных подсетях, автоматически масштабируется вверх и вниз в зависимости от пропускной способности. Чтобы Firehose мог масштабировать количество ENI для соответствия пропускной способности, убедитесь, что у вас достаточно квоты. Чтобы помочь вам рассчитать необходимую квоту, предположите, что Firehose может создать до трех ENI для этого потока Firehose для каждой из указанных подсетей. Дополнительную информацию о квоте ENI см. в разделе «Интерфейсы сети» в теме «Квоты Amazon VPC».
(строка)
RoleARN -> (строка)
ARN роли IAM, которую вы хотите использовать для потока Firehose для создания конечных точек в целевой VPC. Вы можете использовать существующую роль Firehose или указать новую роль. В любом случае убедитесь, что роль доверяет принципалу службы Firehose и предоставляет следующие разрешения:
ec2:DescribeVpcsec2:DescribeVpcAttributeec2:DescribeSubnetsec2:DescribeSecurityGroupsec2:DescribeNetworkInterfacesec2:CreateNetworkInterfaceec2:CreateNetworkInterfacePermissionec2:DeleteNetworkInterface
Предупреждение
При указании подсетей для доставки данных в частную VPC убедитесь, что в выбранных подсетях достаточно свободных IP-адресов. Если в указанной подсети нет доступного свободного IP-адреса, Firehose не может создать или добавить ENI для доставки данных в частную VPC, и доставка будет ухудшена или завершится неудачей.SecurityGroupIds -> (список)
Идентификаторы групп безопасности, которые вы хотите использовать Firehose при создании ENI в VPC цели Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и у домена Amazon OpenSearch Service, или другие. Если вы укажете другие группы безопасности, убедитесь, что они разрешают выходной HTTPS-трафик в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик из указанных здесь групп безопасности. Если вы используете одну и ту же группу безопасности для потока доставки и домена Amazon OpenSearch Service, убедитесь, что правило входного трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах группы безопасности см. в документации Amazon VPC.
(строка)
DocumentIdOptions -> (структура)
Указывает метод настройки идентификатора документа. Поддерживаются методы: идентификатор документа, сгенерированный Firehose, и идентификатор документа, сгенерированный OpenSearch Service.
DefaultDocumentIdFormat -> (строка)
Когда выбран вариант FIREHOSE_DEFAULT, Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при нескольких попытках доставки, что помогает предотвратить индексацию одной и той же записи несколько раз с разными идентификаторами документов.
Когда выбран вариант NO_DOCUMENT_ID, Firehose не включает какие-либо идентификаторы документов в запросы, которые он отправляет в Amazon OpenSearch Service. Это приводит к тому, что домен Amazon OpenSearch Service генерирует идентификаторы документов. В случае нескольких попыток доставки это может привести к индексации одной и той же записи более одного раза с разными идентификаторами документов. Этот параметр позволяет операциям с большой записью, таким как загрузка журналов и данных наблюдаемости, потреблять меньше ресурсов в домене Amazon OpenSearch Service, что приводит к улучшению производительности.
Синтаксис JSON:
{
"RoleARN": "string",
"DomainARN": "string",
"ClusterEndpoint": "string",
"IndexName": "string",
"TypeName": "string",
"IndexRotationPeriod": "NoRotation"|"OneHour"|"OneDay"|"OneWeek"|"OneMonth",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDocumentsOnly"|"AllDocuments",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"VpcConfiguration": {
"SubnetIds": ["string", ...],
"RoleARN": "string",
"SecurityGroupIds": ["string", ...]
},
"DocumentIdOptions": {
"DefaultDocumentIdFormat": "FIREHOSE_DEFAULT"|"NO_DOCUMENT_ID"
}
}
--amazonopensearchservice-destination-configuration (структура)
Пункт назначения в Amazon OpenSearch Service. Вы можете указать только один пункт назначения.
RoleARN -> (строка)
DomainARN -> (строка)
ClusterEndpoint -> (строка)
IndexName -> (строка)
TypeName -> (строка)
IndexRotationPeriod -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для AmazonopensearchserviceBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед доставкой их в пункт назначения. Значение по умолчанию составляет 5.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно составлять 10 МБ или больше.
RetryOptions -> (структура)
Поведение повторных попыток в случае, если Firehose не может доставить документы в Amazon OpenSearch Service. Значение по умолчанию составляет 300 (5 минут).
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
S3Configuration -> (структура)
Описание конфигурации пункта назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для BufferingHints объекта.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед доставкой их в пункт назначения. Значение по умолчанию составляет 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МиБ/с, значение должно составлять 10 МиБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из корзины S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию (отсутствует).
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, если выбран AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
VpcConfiguration -> (структура)
Подробности VPC пункта назначения Amazon OpenSearch или Amazon OpenSearch Serverless.
SubnetIds -> (список)
Идентификаторы подсетей, которые вы хотите использовать Firehose для создания ENI в VPC пункта назначения Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входящего и исходящего трафика позволяют передавать трафик из подсетей, идентификаторы которых указаны здесь, в подсети, которые имеют конечные точки пункта назначения Amazon OpenSearch Service. Firehose создаёт как минимум один ENI в каждой из указанных здесь подсетей. Не удаляйте и не изменяйте эти ENI.
Количество ENI, создаваемых Firehose в указанных здесь подсетях, автоматически масштабируется вверх и вниз в зависимости от пропускной способности. Чтобы включить Firehose в масштабировании количества ENI для соответствия пропускной способности, убедитесь, что у вас достаточно квот. Для расчёта необходимой квоты предположим, что Firehose может создать до трёх ENI для этого потока Firehose для каждой из указанных здесь подсетей. Дополнительную информацию о квотах ENI см. в разделе сетевые интерфейсы в разделе квоты Amazon VPC.
(строка)
RoleARN -> (строка)
ARN роли IAM, которую вы хотите использовать для потока Firehose для создания конечных точек в VPC пункта назначения. Вы можете использовать существующую роль Firehose или указать новую роль. В любом случае убедитесь, что роль доверяет службе Firehose и предоставляет следующие разрешения:
ec2:DescribeVpcsec2:DescribeVpcAttributeec2:DescribeSubnetsec2:DescribeSecurityGroupsec2:DescribeNetworkInterfacesec2:CreateNetworkInterfaceec2:CreateNetworkInterfacePermissionec2:DeleteNetworkInterface
Предупреждение
При указании подсетей для доставки данных в пункт назначения в частной VPC убедитесь, что у вас достаточно свободных IP-адресов в выбранных подсетях. Если доступного свободного IP-адреса в указанной подсети нет, Firehose не сможет создать или добавить ENI для доставки данных в частной VPC, и доставка будет ухудшена или прервана.SecurityGroupIds -> (список)
Идентификаторы групп безопасности, которые вы хотите использовать Firehose при создании ENI в VPC пункта назначения Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и у домена Amazon OpenSearch Service, или использовать другие. Если вы указываете другие группы безопасности, убедитесь, что они разрешают исходящий HTTPS-трафик в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик от указанных здесь групп безопасности. Если вы используете одну и ту же группу безопасности как для потока доставки, так и для домена Amazon OpenSearch Service, убедитесь, что правило входящего трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах групп безопасности см. в документации Amazon VPC.
(строка)
DocumentIdOptions -> (структура)
Указывает метод настройки идентификатора документа. Поддерживаются методы идентификатора документа, сгенерированного Firehose, и идентификатора документа, сгенерированного службой OpenSearch.
DefaultDocumentIdFormat -> (строка)
При выборе опции FIREHOSE_DEFAULT Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при многократных попытках доставки, что помогает предотвратить индексирование одной и той же записи несколько раз с различными идентификаторами документов.
При выборе опции NO_DOCUMENT_ID Firehose не включает идентификаторы документов в запросы, которые он отправляет в Amazon OpenSearch Service. Это приводит к тому, что домен Amazon OpenSearch Service генерирует идентификаторы документов. В случае многократных попыток доставки это может привести к тому, что одна и та же запись будет проиндексирована более одного раза с различными идентификаторами документов. Этот параметр позволяет операциям с интенсивными операциями записи, таким как загрузка журналов и данных об наблюдаемости, потреблять меньше ресурсов в домене Amazon OpenSearch Service, что приводит к улучшенной производительности.
Синтаксис JSON:
{
"RoleARN": "string",
"DomainARN": "string",
"ClusterEndpoint": "string",
"IndexName": "string",
"TypeName": "string",
"IndexRotationPeriod": "NoRotation"|"OneHour"|"OneDay"|"OneWeek"|"OneMonth",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDocumentsOnly"|"AllDocuments",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"VpcConfiguration": {
"SubnetIds": ["string", ...],
"RoleARN": "string",
"SecurityGroupIds": ["string", ...]
},
"DocumentIdOptions": {
"DefaultDocumentIdFormat": "FIREHOSE_DEFAULT"|"NO_DOCUMENT_ID"
}
}
--splunk-destination-configuration (структура)
Пункт назначения в Splunk. Вы можете указать только один пункт назначения.
HECEndpoint -> (строка)
HECEndpointType -> (строка)
HECToken -> (строка)
HECAcknowledgmentTimeoutInSeconds -> (целое число)
RetryOptions -> (структура)
Поведение повторных попыток в случае, если Firehose не может доставить данные в Splunk или не получает подтверждение о получении от Splunk.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
Определяет, как документы должны быть доставлены в Amazon S3. При значении FailedEventsOnly Firehose записывает любые данные, которые не удалось проиндексировать, в указанное место назначения Amazon S3. При значении AllEvents Firehose доставляет все входящие записи в Amazon S3 и также записывает необработанные документы в Amazon S3. Значение по умолчанию — FailedEventsOnly.
Вы можете обновить этот режим резервного копирования с FailedEventsOnly на AllEvents. Вы не можете обновить его с AllEvents на FailedEventsOnly.
S3Configuration -> (структура)
Настройка резервного расположения Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из корзины S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Настройка обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Значение BufferSizeInMBs колеблется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для Splunk.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
SecretsManagerConfiguration -> (структура)
Настройка, определяющая, как вы получаете секреты для Splunk.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (булево)
True конфигурация Secrets Manager переписывает существующие секреты в конфигурации пункта назначения. При установке в False Firehose возвращается к учетным данным в конфигурации пункта назначения.Синтаксис JSON:
{
"HECEndpoint": "string",
"HECEndpointType": "Raw"|"Event",
"HECToken": "string",
"HECAcknowledgmentTimeoutInSeconds": integer,
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedEventsOnly"|"AllEvents",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--http-endpoint-destination-configuration (структура)
Позволяет настроить Kinesis Firehose для доставки данных в любое целевое HTTP-назначение. Вы можете указать только одно назначение.
EndpointConfiguration -> (структура)
Настройка выбранного HTTP-целевого назначения.
Url -> (строка)
URL выбранного HTTP-целевого назначения.
Предупреждение
Если вы выбрали HTTP-назначение, ознакомьтесь и следуйте инструкциям в Приложении - Спецификации запросов и ответов доставки по HTTP-назначению.Name -> (строка)
AccessKey -> (строка)
BufferingHints -> (структура)
Параметры буферизации, которые можно использовать перед доставкой данных в указанное назначение. Firehose рассматривает эти параметры как рекомендации, и может выбрать более оптимальные значения. Параметры SizeInMBs и IntervalInSeconds являются необязательными. Однако если вы указываете значение для одного из них, вы должны также указать значение для другого.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед доставкой в назначение. Значение по умолчанию равно 5.
Рекомендуется задавать этот параметр значением, большим, чем объем данных, который обычно поступает в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/сек, значение должно быть 10 МБ или выше.
IntervalInSeconds -> (целое число)
CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
RequestConfiguration -> (структура)
Настройка запроса, отправленного в HTTP-целевое назначение.
ContentEncoding -> (строка)
CommonAttributes -> (список)
Описание метаданных, отправленных в целевое назначение HTTP.
(структура)
Описание метаданных, которые доставляются в указанное HTTP-целевое назначение.
AttributeName -> (строка)
AttributeValue -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (логическое значение)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord как тип обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
RoleARN -> (строка)
RetryOptions -> (структура)
Описание поведения повторных попыток в случае, если Firehose не может доставить данные в указанное HTTP-целевое назначение или не получает подтверждения получения от указанного HTTP-целевого назначения.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
AllData) или только те документы, которые Firehose не смог доставить в указанное HTTP-целевое назначение (FailedDataOnly).S3Configuration -> (структура)
Описание конфигурации назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед доставкой в назначение. Значение по умолчанию равно 5. Этот параметр является необязательным, но если вы указываете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр значением, большим, чем объем данных, которые вы обычно передаете в поток Firehose за 10 секунд. Например, если вы обычно передаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
SecretsManagerConfiguration -> (структура)
Конфигурация, определяющая способ доступа к секретам для целевого назначения HTTP.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (логическое значение)
True, конфигурация Secrets Manager перезаписывает существующие секреты в конфигурации назначения. Когда значение установлено как False, Firehose возвращается к учетным данным в конфигурации назначения.JSON Syntax:
{
"EndpointConfiguration": {
"Url": "string",
"Name": "string",
"AccessKey": "string"
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"RequestConfiguration": {
"ContentEncoding": "NONE"|"GZIP",
"CommonAttributes": [
{
"AttributeName": "string",
"AttributeValue": "string"
}
...
]
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"RoleARN": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--tags (список)
Набор тегов, которые необходимо назначить потоку Firehose. Тег — это пара ключ-значение, которую можно определить и назначить ресурсам Amazon Web Services. Теги являются метаданными. Например, вы можете добавить дружественные имена и описания или другой тип информации, которая поможет вам отличить поток Firehose. Дополнительную информацию о тегах см. в руководстве пользователя Amazon Web Services Billing and Cost Management, раздел Использование тегов распределения затрат.
При создании потока Firehose можно указать до 50 тегов.
Если вы указываете теги в действии CreateDeliveryStream, Amazon Data Firehose выполняет дополнительную авторизацию действия firehose:TagDeliveryStream для проверки наличия у пользователей разрешений на создание тегов. Если вы не предоставите это разрешение, запросы на создание новых потоков Firehose с тегами ресурсов IAM завершатся ошибкой, такой как следующая.
Пользователь: arn:aws:sts::x:assumed-role/x/x не имеет разрешения на выполнение: firehose:TagDeliveryStream для ресурса: arn:aws:firehose:us-east-1:x:deliverystream/x с явным отказом в политике на основе идентификатора.
Пример политики IAM см. в разделе Пример тега.
(структура)
Метаданные, которые можно назначить потоку Firehose, состоящие из пары ключ-значение.
Ключ -> (строка)
Значение -> (строка)
Сокращенная синтаксическая запись:
Key=string,Value=string ...
Синтаксис JSON:
[
{
"Key": "string",
"Value": "string"
}
...
]
--amazon-open-search-serverless-destination-configuration (структура)
Назначение в предложении Serverless для Amazon OpenSearch Service. Вы можете указать только одно назначение.
RoleARN -> (строка)
CollectionEndpoint -> (строка)
IndexName -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для AmazonopensearchserviceBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ, прежде чем передавать их в назначение. Значение по умолчанию составляет 5.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, обычно поступающих в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно составлять 10 МБ или больше.
RetryOptions -> (структура)
Поведение при повторных попытках, если Firehose не может передать документы в предложение Serverless для Amazon OpenSearch Service. Значение по умолчанию составляет 300 (5 минут).
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
S3Configuration -> (структура)
Описание конфигурации назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для BufferingHints объекта.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ, прежде чем передавать их в назначение. Значение по умолчанию равно 5. Этот параметр необязателен, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, обычно поступающих в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно составлять 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP нельзя указать для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из корзины S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделительную строку между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение по умолчанию для параметра буферизации составляет 1 МБ для всех назначений, кроме Splunk. Для Splunk значение по умолчанию для параметра буферизации — 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
VpcConfiguration -> (структура)
Подробная информация о сети VPC целевого назначения Amazon OpenSearch или Amazon OpenSearch Serverless.
SubnetIds -> (список)
Идентификаторы подсетей, которые вы хотите использовать Firehose для создания ENI в сети VPC назначения Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входящего и исходящего трафика позволяют трафику проходить от подсетей, идентификаторы которых указаны здесь, до подсетей с точками конечного подключения Amazon OpenSearch Service назначения. Firehose создает по крайней мере одну ENI в каждой из указанных подсетей. Не удаляйте и не изменяйте эти ENI.
Количество ENI, создаваемых Firehose в указанных подсетях, автоматически масштабируется вверх и вниз в зависимости от пропускной способности. Чтобы Firehose мог масштабировать количество ENI для соответствия пропускной способности, убедитесь, что у вас достаточно квот. Для расчета необходимой квоты предположите, что Firehose может создать до трех ENI для этого потока Firehose для каждой указанной подсети. Дополнительную информацию о квотах ENI см. в разделе сетевые интерфейсы в разделе квоты Amazon VPC.
(строка)
RoleARN -> (строка)
ARN роли IAM, которую вы хотите использовать для потока Firehose для создания точек конечного подключения в целевой сети VPC. Вы можете использовать существующую роль Firehose или указать новую роль. В любом случае убедитесь, что роль доверяет принципалу службы Firehose и предоставляет следующие разрешения:
ec2:DescribeVpcsec2:DescribeVpcAttributeec2:DescribeSubnetsec2:DescribeSecurityGroupsec2:DescribeNetworkInterfacesec2:CreateNetworkInterfaceec2:CreateNetworkInterfacePermissionec2:DeleteNetworkInterface
Предупреждение
При указании подсетей для передачи данных в частную сеть VPC убедитесь, что в выбранных подсетях достаточно свободных IP-адресов. Если в указанной подсети нет доступного свободного IP-адреса, Firehose не может создать или добавить ENI для передачи данных в частной сети VPC, и передача данных будет ухудшена или прервана.SecurityGroupIds -> (список)
Идентификаторы групп безопасности, которые вы хотите использовать Firehose при создании ENI в сети VPC назначения Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и у домена Amazon OpenSearch Service, или другие. Если вы указываете другие группы безопасности, убедитесь, что они разрешают исходящий HTTPS-трафик в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик от указанных здесь групп безопасности. Если вы используете ту же группу безопасности для вашего потока передачи и домена Amazon OpenSearch Service, убедитесь, что правило входящего трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах групп безопасности см. в документации Amazon VPC.
(строка)
Синтаксис JSON:
{
"RoleARN": "string",
"CollectionEndpoint": "string",
"IndexName": "string",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDocumentsOnly"|"AllDocuments",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"VpcConfiguration": {
"SubnetIds": ["string", ...],
"RoleARN": "string",
"SecurityGroupIds": ["string", ...]
}
}
--msk-source-configuration (структура)
Настройка кластера Amazon MSK, который будет использоваться в качестве источника для потока доставки.
MSKClusterARN -> (строка)
TopicName -> (строка)
AuthenticationConfiguration -> (структура)
Настройка аутентификации кластера Amazon MSK.
RoleARN -> (строка)
Connectivity -> (строка)
ReadFromTimestamp -> (отметка времени)
Начальная дата и время в формате UTC для смещения в вашей теме MSK, с которого Firehose начнет чтение. По умолчанию это время, когда Firehose становится активным.
Если вы хотите создать поток Firehose с начальной позицией «Самые ранние» из SDK или командной строки, вам необходимо установить параметр ReadFromTimestamp в значение Epoch (1970-01-01T00:00:00Z).
Сокращенная синтаксическая запись:
MSKClusterARN=string,TopicName=string,AuthenticationConfiguration={RoleARN=string,Connectivity=string},ReadFromTimestamp=timestamp
Синтаксис JSON:
{
"MSKClusterARN": "string",
"TopicName": "string",
"AuthenticationConfiguration": {
"RoleARN": "string",
"Connectivity": "PUBLIC"|"PRIVATE"
},
"ReadFromTimestamp": timestamp
}
--snowflake-destination-configuration (структура)
Настройка назначения Snowflake
AccountUrl -> (строка)
PrivateKey -> (строка)
KeyPassphrase -> (строка)
User -> (строка)
Database -> (строка)
Schema -> (строка)
Table -> (строка)
SnowflakeRoleConfiguration -> (структура)
Необязательно настроить роль Snowflake. В противном случае будет использоваться роль пользователя по умолчанию.
Enabled -> (булево)
SnowflakeRole -> (строка)
DataLoadingOption -> (строка)
MetaDataColumnName -> (строка)
Укажите имя столбца в таблице, куда должны быть загружены метаданные. При включении этого поля в таблице Snowflake появится столбец, который отличается в зависимости от типа источника.
Для источника Direct PUT
{ "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }Для источника Kinesis Data Stream
"kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }ContentColumnName -> (строка)
SnowflakeVpcConfiguration -> (структура)
ID VPCE для частного подключения Firehose к Snowflake. Формат ID — com.amazonaws.vpce.[region].vpce-svc-<[id]>. Для получения дополнительной информации см. Amazon PrivateLink & Snowflake
PrivateLinkVpceId -> (строка)
CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую строку разделителя между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs изменяется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
RoleARN -> (строка)
RetryOptions -> (структура)
Период времени, в течение которого Firehose будет пытаться отправить данные на выбранный HTTP-точку.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
S3Configuration -> (структура)
Описание конфигурации назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизуйте входящие данные до указанного размера в МБ перед передачей их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете его значение, вам также необходимо указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/сек, значение должно составлять 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из корзины S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, шифрование не используется.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
SecretsManagerConfiguration -> (структура)
Настройка, определяющая, как получить секреты для Snowflake.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (булево)
True конфигурация менеджера секретов перезаписывает существующие секреты в конфигурации назначения. При установке в значение False Firehose использует учетные данные в конфигурации назначения.BufferingHints -> (структура)
Описание буферизации перед передачей данных в назначение Snowflake. Если вы не укажете никаких значений, Firehose использует значения по умолчанию.
SizeInMBs -> (целое число)
IntervalInSeconds -> (целое число)
Синтаксис JSON:
{
"AccountUrl": "string",
"PrivateKey": "string",
"KeyPassphrase": "string",
"User": "string",
"Database": "string",
"Schema": "string",
"Table": "string",
"SnowflakeRoleConfiguration": {
"Enabled": true|false,
"SnowflakeRole": "string"
},
"DataLoadingOption": "JSON_MAPPING"|"VARIANT_CONTENT_MAPPING"|"VARIANT_CONTENT_AND_METADATA_MAPPING",
"MetaDataColumnName": "string",
"ContentColumnName": "string",
"SnowflakeVpcConfiguration": {
"PrivateLinkVpceId": "string"
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"RoleARN": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
}
}
--iceberg-destination-configuration (структура)
Настройка назначения таблиц Apache Iceberg.
DestinationTableConfigurationList -> (список)
Предоставляет список DestinationTableConfigurations, которые Firehose использует для доставки данных в таблицы Apache Iceberg. Firehose будет записывать данные с помощью вставки, если конфигурация таблицы не указана здесь.
(структура)
Описывает конфигурацию назначения в Apache Iceberg Tables.
DestinationTableName -> (строка)
DestinationDatabaseName -> (строка)
UniqueKeys -> (список)
Список уникальных ключей для заданной таблицы Apache Iceberg. Firehose будет использовать их для выполнения операций Create, Update или Delete в заданной таблице Iceberg.
(строка)
PartitionSpec -> (структура)
Конфигурация спецификации разбиения для таблицы, используемой для автоматического создания таблицы.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
Identity -> (список)
Список преобразований тождества, выполняющих преобразование тождества. Преобразование принимает исходное значение и не изменяет его. Тип результата — это тип источника.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
(структура)
Представляет одно поле в PartitionSpec.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
SourceName -> (строка)
Имя столбца для настройки в спецификации разбиения.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
S3ErrorOutputPrefix -> (строка)
SchemaEvolutionConfiguration -> (структура)
Конфигурация для включения автоматической эволюции схемы.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
Enabled -> (булево)
Укажите, хотите ли вы включить эволюцию схемы.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
TableCreationConfiguration -> (структура)
Конфигурация для включения автоматического создания таблиц.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
Enabled -> (булево)
Укажите, хотите ли вы включить автоматическое создание таблиц.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
BufferingHints -> (структура)
Описывает подсказки для буферизации перед передачей данных в назначение. Эти параметры рассматриваются как подсказки, и поэтому Firehose может выбрать использование других значений, когда это оптимально. Параметры SizeInMBs и IntervalInSeconds являются необязательными. Однако, если вы укажете значение для одного из них, вы также должны указать значение для другого.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед передачей в назначение. Значение по умолчанию — 5. Этот параметр является необязательным, но если вы укажете значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CloudWatchLoggingOptions -> (структура)
Описывает параметры ведения журнала Amazon CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описывает конфигурацию обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описывает обработчик данных.
Примечание
Если вы хотите добавить новую строку разделителя между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа процессора. Вам не нужно указывать параметр процессора, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры процессора.
(структура)
Описывает параметр процессора.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию — 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение буферизации по умолчанию — 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
FailedDataOnly.RetryOptions -> (структура)
Поведение повторной попытки, если Firehose не может передать данные в назначение.
DurationInSeconds -> (целое число)
RoleARN -> (строка)
AppendOnly -> (булево)
Описывает, будут ли все входящие данные для этого потока доставки только добавляться (только вставки, а не обновления и удаления) для доставки Iceberg. Эта функция применима только для Apache Iceberg Tables.
Значение по умолчанию — false. Если вы установите это значение в true, Firehose автоматически увеличит предел пропускной способности потока на основе уровней ограничения потока. Если вы установите этот параметр в true для потока с обновлениями и удалениями, вы увидите доставку не в порядке.
CatalogConfiguration -> (структура)
Конфигурация, описывающая, где хранятся целевые таблицы Apache Iceberg.
CatalogARN -> (строка)
arn:aws:glue:region:account-id:catalog.WarehouseLocation -> (строка)
Местоположение хранилища для таблиц Apache Iceberg. Вы должны настроить его, когда включены эволюция схемы и создание таблиц.
Amazon Data Firehose находится в предварительном релизе и может быть изменён.
S3Configuration -> (структура)
Описывает конфигурацию назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Вариант буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед передачей в назначение. Значение по умолчанию — 5. Этот параметр является необязательным, но если вы укажете значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 MiB/с, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
JSON Синтаксис:
{
"DestinationTableConfigurationList": [
{
"DestinationTableName": "string",
"DestinationDatabaseName": "string",
"UniqueKeys": ["string", ...],
"PartitionSpec": {
"Identity": [
{
"SourceName": "string"
}
...
]
},
"S3ErrorOutputPrefix": "string"
}
...
],
"SchemaEvolutionConfiguration": {
"Enabled": true|false
},
"TableCreationConfiguration": {
"Enabled": true|false
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"RetryOptions": {
"DurationInSeconds": integer
},
"RoleARN": "string",
"AppendOnly": true|false,
"CatalogConfiguration": {
"CatalogARN": "string",
"WarehouseLocation": "string"
},
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
}
}
--database-source-configuration (структура)
Основной объект для настройки потоков с базой данных в качестве источника.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Тип -> (строка)
Тип движка базы данных. Может принимать одно из следующих значений.
- MySQL
- PostgreSQL
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Адрес -> (строка)
Адрес сервера базы данных.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Порт -> (целое число)
Порт базы данных. Может принимать одно из следующих значений.
- 3306 для базы данных типа MySQL
- 5432 для базы данных типа PostgreSQL
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
SSL режим -> (строка)
Режим для включения или выключения SSL при подключении Firehose к адресу базы данных.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Базы данных -> (структура)
Список шаблонов баз данных в конечной точке источника базы данных для чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Включать -> (список)
Список шаблонов баз данных в конечной точке источника базы данных для включения в чтение Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
Исключать -> (список)
Список шаблонов баз данных в конечной точке источника базы данных для исключения из чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
Таблицы -> (структура)
Список шаблонов таблиц в конечной точке источника базы данных для чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Включать -> (список)
Список шаблонов таблиц в конечной точке источника базы данных для включения в чтение Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
Исключать -> (список)
Список шаблонов таблиц в конечной точке источника базы данных для исключения из чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
Столбцы -> (структура)
Список шаблонов столбцов в конечной точке источника базы данных для чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Включать -> (список)
Список шаблонов столбцов в источнике базы данных для включения в чтение Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
Исключать -> (список)
Список шаблонов столбцов в источнике базы данных для исключения из чтения Firehose.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
ПсевдонимыКлючей -> (список)
Необязательный список имён таблиц и столбцов, используемых в качестве столбцов уникального ключа при создании снимка, если в таблицах не настроены первичные ключи.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
(строка)
ТаблицаВодяныхЗнаковСнимка -> (строка)
Полное имя таблицы в конечной точке источника базы данных, которую Firehose использует для отслеживания прогресса снимка.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Конфигурация аутентификации источника базы данных -> (структура)
Структура для настройки методов аутентификации для подключения Firehose к конечной точке источника базы данных.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Настройка Secrets Manager -> (структура)
Структура, определяющая, как Firehose получает доступ к секрету.
SecretARN -> (строка)
True .RoleARN -> (строка)
Enabled -> (булево)
True, конфигурация secrets manager перезаписывает существующие секреты в конфигурации назначения. Когда установлено как False, Firehose возвращается к учетным данным в конфигурации назначения.Конфигурация VPC источника базы данных -> (структура)
Подробности о службе VPC Endpoint, которую Firehose использует для создания PrivateLink к базе данных.
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Имя службы VPC Endpoint -> (строка)
Имя службы VPC Endpoint, которое Firehose использует для создания PrivateLink к базе данных. Услуга endpoint должна иметь принцип службы Firehose firehose.amazonaws.com в качестве разрешённого принципала в службе VPC endpoint. Имя службы VPC endpoint — это строка, похожая на com.amazonaws.vpce.<region>.<vpc-endpoint-service-id> .
Amazon Data Firehose находится на стадии предварительного выпуска и может быть изменён.
Краткая синтаксическая запись:
Type=string,Endpoint=string,Port=integer,SSLMode=string,Databases={Include=[string,string],Exclude=[string,string]},Tables={Include=[string,string],Exclude=[string,string]},Columns={Include=[string,string],Exclude=[string,string]},SurrogateKeys=string,string,SnapshotWatermarkTable=string,DatabaseSourceAuthenticationConfiguration={SecretsManagerConfiguration={SecretARN=string,RoleARN=string,Enabled=boolean}},DatabaseSourceVPCConfiguration={VpcEndpointServiceName=string}
Синтаксис JSON:
{
"Type": "MySQL"|"PostgreSQL",
"Endpoint": "string",
"Port": integer,
"SSLMode": "Disabled"|"Enabled",
"Databases": {
"Include": ["string", ...],
"Exclude": ["string", ...]
},
"Tables": {
"Include": ["string", ...],
"Exclude": ["string", ...]
},
"Columns": {
"Include": ["string", ...],
"Exclude": ["string", ...]
},
"SurrogateKeys": ["string", ...],
"SnapshotWatermarkTable": "string",
"DatabaseSourceAuthenticationConfiguration": {
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
},
"DatabaseSourceVPCConfiguration": {
"VpcEndpointServiceName": "string"
}
}
--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной JSON-строки. JSON-строка следует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные в JSON. Невозможно передать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет воспринята буквально. Это может не быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если предоставлено значение без значения или значение input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, оно выведет пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Общие параметры
--debug (булево)
Включить отладку регистрации.
--endpoint-url (строка)
Переопределить стандартный URL команды указанным URL.
--no-verify-ssl (булево)
По умолчанию AWS CLI использует SSL при взаимодействии с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.
--no-paginate (булево)
Отключить автоматическую постраничность. Если автоматическая постраничность отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования вывода команды.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для использования при фильтрации данных ответа.
--profile (строка)
Использовать определённый профиль из вашего файла учетных данных.
--region (строка)
Регион для использования. Переопределяет настройки конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- включено
- выключено
- авто
--no-sign-request (булево)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.
--ca-bundle (строка)
Файл сертификата корневого центра для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого файла, отображающего двоичный блок fileb://, всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (булево)
Отключить пейджер cli для вывода.
--cli-auto-prompt (булево)
Автоматически запрашивать параметры ввода CLI.
--no-cli-auto-prompt (булево)
Отключить автоматическое запрошение параметров ввода CLI.
Вывод
DeliveryStreamARN -> (строка)
© Copyright 2025, Amazon Web Services. Created using Sphinx.
