обновить-назначение
Описание
Обновляет указанное назначение указанного потока Firehose.
Используйте эту операцию для изменения типа назначения (например, для замены назначения Amazon S3 на Amazon Redshift) или изменения параметров, связанных с назначением (например, для изменения имени ведра назначения Amazon S3). Обновление может не произойти немедленно. Целевой поток Firehose остается активным во время обновления конфигураций, поэтому запись данных в поток Firehose может продолжаться в этом процессе. Обновленные конфигурации обычно вступают в силу в течение нескольких минут.
Переключение между Amazon OpenSearch Service и другими сервисами не поддерживается. Для назначения Amazon OpenSearch Service вы можете обновить только на другое назначение Amazon OpenSearch Service.
Если тип назначения совпадает, Firehose объединяет параметры конфигурации, указанные с конфигурацией назначения, которая уже существует в потоке доставки. Если какие-либо параметры не указаны в вызове, сохраняются существующие значения. Например, в назначении Amazon S3, если EncryptionConfiguration не указан, то существующий EncryptionConfiguration сохраняется в назначении.
Если тип назначения не совпадает, например, при изменении назначения с Amazon S3 на Amazon Redshift, Firehose не объединяет какие-либо параметры. В этом случае все параметры должны быть указаны.
Firehose использует CurrentDeliveryStreamVersionId для предотвращения гонок и конфликтующих объединений. Это обязательное поле, и сервис обновляет конфигурацию только в том случае, если у существующей конфигурации есть идентификатор версии, который совпадает. После успешного применения обновления идентификатор версии обновляется и может быть получен с помощью DescribeDeliveryStream . Используйте новый идентификатор версии для установки CurrentDeliveryStreamVersionId в следующем вызове.
См. также: Документация API AWS
Синтаксис
update-destination
--delivery-stream-name <value>
--current-delivery-stream-version-id <value>
--destination-id <value>
[--s3-destination-update <value>]
[--extended-s3-destination-update <value>]
[--redshift-destination-update <value>]
[--elasticsearch-destination-update <value>]
[--amazonopensearchservice-destination-update <value>]
[--splunk-destination-update <value>]
[--http-endpoint-destination-update <value>]
[--amazon-open-search-serverless-destination-update <value>]
[--snowflake-destination-update <value>]
[--iceberg-destination-update <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]
Параметры
--delivery-stream-name (строка)
--current-delivery-stream-version-id (строка)
VersionId DeliveryStreamDescription . Это значение требуется и помогает службе выполнять условные операции. Например, если происходит одновременное обновление и это значение равно null, то обновление назначения завершается ошибкой. После успешного обновления значение VersionId обновляется. Служба затем выполняет объединение старой конфигурации с новой конфигурацией.--destination-id (строка)
--s3-destination-update (структура)
[Устаревшее] Описывает обновление назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед передачей их в назначение. Значение по умолчанию составляет 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который вы обычно передаете в поток Firehose в течение 10 секунд. Например, если вы обычно передаете данные со скоростью 1 MiB/с, значение должно составлять 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию равно UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
Сокращенный синтаксис:
RoleARN=string,BucketARN=string,Prefix=string,ErrorOutputPrefix=string,BufferingHints={SizeInMBs=integer,IntervalInSeconds=integer},CompressionFormat=string,EncryptionConfiguration={NoEncryptionConfig=string,KMSEncryptionConfig={AWSKMSKeyARN=string}},CloudWatchLoggingOptions={Enabled=boolean,LogGroupName=string,LogStreamName=string}
Синтаксис JSON:
{
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
}
--extended-s3-destination-update (структура)
Описание обновления назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметры буферизации.
SizeInMBs -> (целое число)
Буферизуйте входящие данные до указанного размера в МиБ перед доставкой их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
UNCOMPRESSED.EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию используется отсутствие шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Настройка обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
S3BackupUpdate -> (структура)
Назначение Amazon S3 для резервного копирования.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизуйте входящие данные до указанного размера в МиБ перед доставкой их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию используется отсутствие шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
DataFormatConversionConfiguration -> (структура)
Сериализатор, десериализатор и схема для преобразования данных из формата JSON в формат Parquet или ORC перед записью в Amazon S3.
SchemaConfiguration -> (структура)
Указывает таблицу каталога данных Amazon Web Services Glue, содержащую информацию о столбцах. Этот параметр необходим, если Enabled установлен в значение true.
RoleARN -> (строка)
Роль, которую Firehose может использовать для доступа к Amazon Web Services Glue. Эта роль должна принадлежать тому же аккаунту, что и Firehose. Роли между аккаунтами не допускаются.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство RoleARN является обязательным и должно быть указано.CatalogId -> (строка)
DatabaseName -> (строка)
Указывает имя базы данных Amazon Web Services Glue, которая содержит схему для выходных данных.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство DatabaseName является обязательным и должно быть указано.TableName -> (строка)
Указывает таблицу Amazon Web Services Glue, содержащую информацию о столбцах, которая образует схему данных.
Предупреждение
Если параметр запросаSchemaConfiguration используется при вызове API CreateDeliveryStream, то свойство TableName является обязательным и должно быть указано.Region -> (строка)
VersionId -> (строка)
LATEST, Firehose использует последнюю версию. Это означает, что любые обновления таблицы будут автоматически подхвачены.InputFormatConfiguration -> (структура)
Указывает десериализатор, который Firehose должен использовать для преобразования формата данных из JSON. Этот параметр необходим, если Enabled установлен в значение true.
Deserializer -> (структура)
Указывает, какой десериализатор использовать. Вы можете выбрать Apache Hive JSON SerDe или OpenX JSON SerDe. Если оба значения не null, сервер отклонит запрос.
OpenXJsonSerDe -> (структура)
OpenX SerDe. Используется Firehose для десериализации данных, что означает преобразование их из формата JSON в подготовку к сериализации в формат Parquet или ORC. Это один из двух десериализаторов, которые вы можете выбрать, в зависимости от того, какой из них предлагает необходимые функции. Другой вариант - собственный Hive/HCatalog JsonSerDe.
ConvertDotsInJsonKeysToUnderscores -> (логическое значение)
При установке в значение true, указывает, что имена ключей содержат точки и вы хотите, чтобы Firehose заменял их на подчеркивания. Это полезно, потому что Apache Hive не допускает точек в именах столбцов. Например, если JSON содержит ключ с именем “a.b”, вы можете определить имя столбца как “a_b” при использовании этого параметра.
По умолчанию значение false.
CaseInsensitive -> (логическое значение)
true, которое является значением по умолчанию, Firehose преобразует ключи JSON в нижний регистр перед десериализацией.ColumnToJsonKeyMappings -> (карта)
Сопоставляет имена столбцов с ключами JSON, которые не идентичны именам столбцов. Это полезно, когда JSON содержит ключи, которые являются ключевыми словами Hive. Например, timestamp является ключевым словом Hive. Если у вас есть ключ JSON с именем timestamp, установите этот параметр в {"ts": "timestamp"}, чтобы сопоставить этот ключ со столбцом с именем ts.
key -> (строка)
value -> (строка)
HiveJsonSerDe -> (структура)
Нативный Hive/HCatalog JsonSerDe. Используется Firehose для десериализации данных, что означает преобразование их из формата JSON в подготовку к сериализации в формат Parquet или ORC. Это один из двух десериализаторов, которые вы можете выбрать, в зависимости от того, какой из них предлагает необходимые функции. Другой вариант - OpenX SerDe.
TimestampFormats -> (список)
Указывает, как Firehose должен анализировать даты и отметки времени, которые могут быть в вашем входном JSON. Для указания этих строк формата следуйте синтаксису форматов строк DateTimeFormat JodaTime. Для получения дополнительной информации, см. класс DateTimeFormat . Вы также можете использовать специальное значение millis для анализа временных меток в миллисекундах эпохи. Если вы не укажете формат, Firehose по умолчанию использует java.sql.Timestamp::valueOf.
(строка)
OutputFormatConfiguration -> (структура)
Указывает сериализатор, который Firehose должен использовать для преобразования формата данных в формат Parquet или ORC. Этот параметр необходим, если Enabled установлен в значение true.
Serializer -> (структура)
Указывает, какой сериализатор использовать. Вы можете выбрать ORC SerDe или Parquet SerDe. Если оба значения не null, сервер отклонит запрос.
ParquetSerDe -> (структура)
Сериализатор для преобразования данных в формат Parquet перед сохранением в Amazon S3. Для получения дополнительной информации, см. Apache Parquet.
BlockSizeBytes -> (целое число)
PageSizeBytes -> (целое число)
Compression -> (строка)
UNCOMPRESSED, SNAPPY и GZIP, значение по умолчанию - SNAPPY. Используйте SNAPPY для повышения скорости декомпрессии. Используйте GZIP, если коэффициент сжатия важнее скорости.EnableDictionaryCompression -> (логическое значение)
MaxPaddingBytes -> (целое число)
WriterVersion -> (строка)
V1 и V2. Значение по умолчанию - V1.OrcSerDe -> (структура)
Сериализатор для преобразования данных в формат ORC перед сохранением в Amazon S3. Для получения дополнительной информации, см. Apache ORC.
StripeSizeBytes -> (целое число)
BlockSizeBytes -> (целое число)
RowIndexStride -> (целое число)
EnablePadding -> (логическое значение)
true, чтобы указать, что вы хотите, чтобы полосы заполнялись до границ блоков HDFS. Это полезно, если вы планируете скопировать данные из Amazon S3 в HDFS перед запросом. Значение по умолчанию - false.PaddingTolerance -> (двойное значение)
false.Compression -> (строка)
SNAPPY.BloomFilterColumns -> (список)
Имена столбцов, для которых вы хотите, чтобы Firehose создавал фильтры Блума. Значение по умолчанию - null.
(строка)
BloomFilterFalsePositiveProbability -> (двойное значение)
DictionaryKeyThreshold -> (двойное значение)
FormatVersion -> (строка)
V0_11 и V0_12. Значение по умолчанию - V0_12.Enabled -> (логическое значение)
true. Установите в значение false, если хотите отключить преобразование формата, сохранив при этом сведения о конфигурации.DynamicPartitioningConfiguration -> (структура)
Конфигурация механизма динамического разбиения, который создает меньшие наборы данных из потоковых данных, разделяя их на основе ключей разбиения. В настоящее время динамическое разбиение поддерживается только для пунктов назначения Amazon S3.
RetryOptions -> (структура)
Поведение повторных попыток в случае, если Firehose не может доставить данные в префикс Amazon S3.
DurationInSeconds -> (целое число)
Enabled -> (логическое значение)
FileExtension -> (строка)
CustomTimeZone -> (строка)
Синтаксис JSON:
{
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "Disabled"|"Enabled",
"S3BackupUpdate": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"DataFormatConversionConfiguration": {
"SchemaConfiguration": {
"RoleARN": "string",
"CatalogId": "string",
"DatabaseName": "string",
"TableName": "string",
"Region": "string",
"VersionId": "string"
},
"InputFormatConfiguration": {
"Deserializer": {
"OpenXJsonSerDe": {
"ConvertDotsInJsonKeysToUnderscores": true|false,
"CaseInsensitive": true|false,
"ColumnToJsonKeyMappings": {"string": "string"
...}
},
"HiveJsonSerDe": {
"TimestampFormats": ["string", ...]
}
}
},
"OutputFormatConfiguration": {
"Serializer": {
"ParquetSerDe": {
"BlockSizeBytes": integer,
"PageSizeBytes": integer,
"Compression": "UNCOMPRESSED"|"GZIP"|"SNAPPY",
"EnableDictionaryCompression": true|false,
"MaxPaddingBytes": integer,
"WriterVersion": "V1"|"V2"
},
"OrcSerDe": {
"StripeSizeBytes": integer,
"BlockSizeBytes": integer,
"RowIndexStride": integer,
"EnablePadding": true|false,
"PaddingTolerance": double,
"Compression": "NONE"|"ZLIB"|"SNAPPY",
"BloomFilterColumns": ["string", ...],
"BloomFilterFalsePositiveProbability": double,
"DictionaryKeyThreshold": double,
"FormatVersion": "V0_11"|"V0_12"
}
}
},
"Enabled": true|false
},
"DynamicPartitioningConfiguration": {
"RetryOptions": {
"DurationInSeconds": integer
},
"Enabled": true|false
},
"FileExtension": "string",
"CustomTimeZone": "string"
}
--redshift-destination-update (структура)
Описание обновления для пункта назначения в Amazon Redshift.
RoleARN -> (строка)
ClusterJDBCURL -> (строка)
CopyCommand -> (структура)
Команда COPY.
DataTableName -> (строка)
DataTableColumns -> (строка)
CopyOptions -> (строка)
Необязательные параметры для использования с командой Amazon Redshift COPY. Дополнительная информация доступна в разделе «Необязательные параметры» команды Amazon Redshift COPY. Некоторые примеры, применимые к Firehose, приведены ниже:
delimiter '\t' lzop; - поля разделены символом «t» (TAB) и сжаты с помощью lzop.
delimiter '|' - поля разделены символом «|» (это по умолчанию).
delimiter '|' escape - разделитель должен быть экранирован.
fixedwidth 'venueid:3,venuename:25,venuecity:12,venuestate:2,venueseats:6' - поля имеют фиксированную ширину в источнике, каждая ширина указана после каждого столбца в таблице.
JSON 's3://mybucket/jsonpaths.txt' - данные в формате JSON, и указанный путь представляет собой формат данных.
Дополнительные примеры см. в примерах к команде Amazon Redshift COPY.
Username -> (строка)
Password -> (строка)
RetryOptions -> (структура)
Поведение повторных попыток, если Firehose не может доставить документы в Amazon Redshift. Значение по умолчанию — 3600 (60 минут).
DurationInSeconds -> (целое число)
DurationInSeconds равно 0 (ноль) или если первая попытка доставки занимает больше времени, чем текущее значение.S3Update -> (структура)
Пункт назначения Amazon S3.
Форматы сжатия SNAPPY или ZIP не могут быть указаны в RedshiftDestinationUpdate.S3Update, так как операция Amazon Redshift COPY, которая читает из ведра S3, не поддерживает эти форматы сжатия.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Вариант буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязательный, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить это значение больше, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/сек, значение должно быть 10 MiB или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Настройка обработки данных.
Enabled -> (логическое значение)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую строку разделителя между записями в объектах, которые доставляются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. По умолчанию буферизация составляет 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение по умолчанию — 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
S3BackupUpdate -> (структура)
Пункт назначения Amazon S3 для резервного копирования.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Вариант буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязательный, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить это значение больше, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/сек, значение должно быть 10 MiB или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
SecretsManagerConfiguration -> (структура)
Конфигурация, определяющая способ доступа к секретам для Amazon Redshift.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (булево)
True, конфигурация управления секретами перезаписывает существующие секреты в конфигурации назначения. При установке в False, Firehose возвращается к учетным данным в конфигурации назначения.Синтаксис JSON:
{
"RoleARN": "string",
"ClusterJDBCURL": "string",
"CopyCommand": {
"DataTableName": "string",
"DataTableColumns": "string",
"CopyOptions": "string"
},
"Username": "string",
"Password": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "Disabled"|"Enabled",
"S3BackupUpdate": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--elasticsearch-destination-update (структура)
Описывает обновление назначения в Amazon OpenSearch Service.
RoleARN -> (строка)
DomainARN -> (строка)
ARN домена Amazon OpenSearch Service. Роль IAM должна иметь разрешения на DescribeDomain , DescribeDomains и DescribeDomainConfig после принятия роли IAM, указанной в RoleARN . Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services .
Укажите либо ClusterEndpoint, либо DomainARN.
ClusterEndpoint -> (строка)
ClusterEndpoint, либо поле DomainARN.IndexName -> (строка)
TypeName -> (строка)
Имя типа Elasticsearch. В Elasticsearch 6.x может быть только один тип на индекс. Если вы попытаетесь указать новый тип для существующего индекса, в котором уже есть другой тип, Firehose вернет ошибку во время выполнения.
Если вы обновляете Elasticsearch с 6.x на 7.x и не обновляете свой поток Firehose, Firehose по-прежнему будет отправлять данные в Elasticsearch со старым именем индекса и именем типа. Если вы хотите обновить свой поток Firehose с новым именем индекса, укажите пустую строку для TypeName.
IndexRotationPeriod -> (строка)
IndexName, чтобы упростить удаление устаревших данных. Дополнительную информацию см. в разделе Вращение индексов для назначения Amazon OpenSearch Service . Значение по умолчанию — OneDay.BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта ElasticsearchBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед отправкой их в назначение. Значение по умолчанию — 5.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно отправляете в поток Firehose за 10 секунд. Например, если вы обычно отправляете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.
RetryOptions -> (структура)
Поведение повторных попыток, если Firehose не может передать документы в Amazon OpenSearch Service. Значение по умолчанию — 300 (5 минут).
DurationInSeconds -> (целое число)
S3Update -> (структура)
Назначение Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед отправкой их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вам также необходимо указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно отправляете в поток Firehose за 10 секунд. Например, если вы обычно отправляете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая читает из корзины S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Конфигурация обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строк между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs изменяется в диапазоне от 0,2 МБ до 3 МБ. Значение по умолчанию для буферизации — 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение по умолчанию — 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
DocumentIdOptions -> (структура)
Указывает метод настройки идентификатора документа. Поддерживаемые методы — идентификатор документа, сгенерированный Firehose, и идентификатор документа, сгенерированный OpenSearch Service.
DefaultDocumentIdFormat -> (строка)
При выборе параметра FIREHOSE_DEFAULT, Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при нескольких попытках передачи, что помогает предотвратить индексирование одной и той же записи несколько раз с различными идентификаторами документов.
При выборе параметра NO_DOCUMENT_ID, Firehose не включает какие-либо идентификаторы документов в запросы, которые он отправляет в Amazon OpenSearch Service. Это заставляет домен Amazon OpenSearch Service генерировать идентификаторы документов. В случае нескольких попыток передачи это может привести к индексированию одной и той же записи более одного раза с различными идентификаторами документов. Этот параметр позволяет операциям с интенсивными записями, таким как ввод журналов и данных мониторинга, потреблять меньше ресурсов в домене Amazon OpenSearch Service, что приводит к улучшению производительности.
Синтаксис JSON:
{
"RoleARN": "string",
"DomainARN": "string",
"ClusterEndpoint": "string",
"IndexName": "string",
"TypeName": "string",
"IndexRotationPeriod": "NoRotation"|"OneHour"|"OneDay"|"OneWeek"|"OneMonth",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"DocumentIdOptions": {
"DefaultDocumentIdFormat": "FIREHOSE_DEFAULT"|"NO_DOCUMENT_ID"
}
}
--amazonopensearchservice-destination-update (структура)
Описание обновления назначения в Amazon OpenSearch Service.
RoleARN -> (строка)
DomainARN -> (строка)
ClusterEndpoint -> (строка)
IndexName -> (строка)
TypeName -> (строка)
Имя типа Amazon OpenSearch Service. Для Elasticsearch 6.x может быть только один тип на индекс. Если вы попытаетесь указать новый тип для существующего индекса, который уже содержит другой тип, Firehose вернёт ошибку во время выполнения.
Если вы обновляете Elasticsearch с 6.x на 7.x и не обновляете свой поток Firehose, Firehose по-прежнему будет передавать данные в Elasticsearch со старым именем индекса и именем типа. Если вы хотите обновить свой поток Firehose с новым именем индекса, укажите пустую строку для TypeName.
IndexRotationPeriod -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта AmazonopensearchBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в назначение. Значение по умолчанию равно 5.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые вы обычно передаёте в поток Firehose за 10 секунд. Например, если вы обычно передаёте данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.
RetryOptions -> (структура)
Поведение при повторной попытке, если Firehose не может передать документы в Amazon OpenSearch Service. Значение по умолчанию равно 300 (5 минут).
DurationInSeconds -> (целое число)
S3Update -> (структура)
Описание обновления назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед передачей их в назначение. Значение по умолчанию равно 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем количество данных, которые вы обычно передаёте в поток Firehose за 10 секунд. Например, если вы обычно передаёте данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord как тип процессора. Вам не нужно добавлять параметр процессора, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры процессора.
(структура)
Описание параметра процессора.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение по умолчанию для буферизации — 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение по умолчанию для буферизации — 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
DocumentIdOptions -> (структура)
Указывает метод настройки идентификатора документа. Поддерживаемые методы — генерируемый Firehose идентификатор документа и генерируемый OpenSearch Service идентификатор документа.
DefaultDocumentIdFormat -> (строка)
Когда выбран параметр FIREHOSE_DEFAULT, Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при нескольких попытках передачи, что помогает предотвратить индексирование одной и той же записи несколько раз с различными идентификаторами документов.
Когда выбран параметр NO_DOCUMENT_ID, Firehose не включает никакие идентификаторы документов в запросы, которые он отправляет в Amazon OpenSearch Service. Это заставляет домен Amazon OpenSearch Service генерировать идентификаторы документов. В случае нескольких попыток передачи это может привести к индексированию одной и той же записи более одного раза с различными идентификаторами документов. Этот параметр позволяет операциям с высокой интенсивностью записи, таким как загрузка журналов и данных наблюдения, использовать меньше ресурсов в домене Amazon OpenSearch Service, что приводит к улучшению производительности.
JSON Синтаксис:
{
"RoleARN": "string",
"DomainARN": "string",
"ClusterEndpoint": "string",
"IndexName": "string",
"TypeName": "string",
"IndexRotationPeriod": "NoRotation"|"OneHour"|"OneDay"|"OneWeek"|"OneMonth",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"DocumentIdOptions": {
"DefaultDocumentIdFormat": "FIREHOSE_DEFAULT"|"NO_DOCUMENT_ID"
}
}
--splunk-destination-update (структура)
Описывает обновление назначения в Splunk.
HECEndpoint -> (строка)
HECEndpointType -> (строка)
HECToken -> (строка)
HECAcknowledgmentTimeoutInSeconds -> (целое число)
RetryOptions -> (структура)
Поведение при повторных попытках, если Firehose не может доставить данные в Splunk или не получает подтверждения от Splunk.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
Указывает, как Firehose хочет резервировать документы в Amazon S3. При значении FailedDocumentsOnly Firehose записывает любые данные, которые не удалось проиндексировать, в указанное назначение Amazon S3. При значении AllEvents Firehose передает все входящие записи в Amazon S3 и также записывает проблемные документы в Amazon S3. Значение по умолчанию — FailedEventsOnly.
Вы можете обновить этот режим резервного копирования с FailedEventsOnly на AllEvents. Вы не можете обновить его с AllEvents на FailedEventsOnly.
S3Update -> (структура)
Обновление конфигурации резервного расположения Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Настройка буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед передачей в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Настройка шифрования. Если значение не указано, используется значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Настройка обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord как тип обработчика. Вам не нужно указывать параметр обработчика, если вы выбрали AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию — 1 МБ для всех назначений, кроме Splunk. Для Splunk значение буферизации по умолчанию — 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
BufferingHints -> (структура)
Настройки буферизации. Если не указано, используются значения по умолчанию для Splunk.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
SecretsManagerConfiguration -> (структура)
Конфигурация, определяющая, как получить секреты для Splunk.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (булево)
True конфигурация менеджера секретов перезаписывает существующие секреты в конфигурации назначения. При установке в False Firehose возвращается к учетным данным в конфигурации назначения.Синтаксис JSON:
{
"HECEndpoint": "string",
"HECEndpointType": "Raw"|"Event",
"HECToken": "string",
"HECAcknowledgmentTimeoutInSeconds": integer,
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedEventsOnly"|"AllEvents",
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--http-endpoint-destination-update (структура)
Описывает обновление указанного конечного пункта назначения HTTP.
EndpointConfiguration -> (структура)
Описывает конфигурацию конечного пункта назначения HTTP.
Url -> (строка)
URL выбранного конечного пункта назначения HTTP.
Предупреждение
Если вы выбираете конечный пункт назначения HTTP, просмотрите и следуйте инструкциям в Приложении - Спецификации запросов и ответов доставки конечного пункта HTTP.Name -> (строка)
AccessKey -> (строка)
BufferingHints -> (структура)
Описывает параметры буферизации, которые могут быть применены к данным перед их передачей в конечный пункт назначения HTTPS. Firehose рассматривает эти параметры как рекомендации и может выбрать более оптимальные значения. Параметры SizeInMBs и IntervalInSeconds являются необязательными. Однако, если вы укажете значение для одного из них, вы также должны указать значение для другого.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в конечный пункт назначения. Значение по умолчанию равно 5.
Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/сек, значение должно быть 10 МБ или выше.
IntervalInSeconds -> (целое число)
CloudWatchLoggingOptions -> (структура)
Описывает параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
RequestConfiguration -> (структура)
Конфигурация запроса, отправляемого в конечный пункт HTTP, указанный в качестве пункта назначения.
ContentEncoding -> (строка)
CommonAttributes -> (список)
Описывает метаданные, отправляемые в конечный пункт назначения HTTP.
(структура)
Описывает метаданные, которые передаются в указанный конечный пункт назначения HTTP.
AttributeName -> (строка)
AttributeValue -> (строка)
ProcessingConfiguration -> (структура)
Описывает конфигурацию обработки данных.
Enabled -> (логическое значение)
Processors -> (список)
Обработчики данных.
(структура)
Описывает обработчик данных.
Примечание
Если вы хотите добавить новую разделитель строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описывает параметр обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs имеет диапазон от 0,2 МБ до 3 МБ. Значение по умолчанию для буферизации — 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение по умолчанию — 256 КБ.ParameterValue -> (строка)
RoleARN -> (строка)
RetryOptions -> (структура)
Описывает поведение повторных попыток в случае, если Firehose не может передать данные в указанный конечный пункт назначения HTTP или не получает подтверждения о получении от указанного конечного пункта назначения HTTP.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
AllData) или только те документы, которые Firehose не смог передать в указанный конечный пункт назначения HTTP (FailedDataOnly).S3Update -> (структура)
Описывает обновление пункта назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МиБ перед передачей их в пункт назначения. Значение по умолчанию равно 5. Этот параметр является необязательным, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, которое вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/сек, значение должно быть 10 МиБ или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, значение по умолчанию — без шифрования.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (логическое значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
SecretsManagerConfiguration -> (структура)
Конфигурация, определяющая способ доступа к секретам для конечного пункта HTTP.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (логическое значение)
True конфигурация Secrets Manager перезаписывает существующие секреты в конфигурации пункта назначения. При установке на False Firehose возвращается к учетным данным в конфигурации пункта назначения.JSON Syntax:
{
"EndpointConfiguration": {
"Url": "string",
"Name": "string",
"AccessKey": "string"
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"RequestConfiguration": {
"ContentEncoding": "NONE"|"GZIP",
"CommonAttributes": [
{
"AttributeName": "string",
"AttributeValue": "string"
}
...
]
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"RoleARN": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
}
}
--amazon-open-search-serverless-destination-update (структура)
Описывает обновление назначения в предложении Serverless для Amazon OpenSearch Service.
RoleARN -> (строка)
CollectionEndpoint -> (строка)
IndexName -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта AmazonopensearchBufferingHints.
IntervalInSeconds -> (целое число)
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в назначение. Значение по умолчанию — 5.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.
RetryOptions -> (структура)
Поведение при повторных попытках, если Firehose не может передать документы в предложение Serverless для Amazon OpenSearch Service. Значение по умолчанию — 300 (5 минут).
DurationInSeconds -> (целое число)
S3Update -> (структура)
Описывает обновление назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в назначение. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, используется значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP нельзя указать для назначений Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из хранилища S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры протоколирования CloudWatch для вашего потока Firehose.
Enabled -> (булево значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описывает конфигурацию обработки данных.
Enabled -> (булево значение)
Processors -> (список)
Обработчики данных.
(структура)
Описывает обработчик данных.
Примечание
Если вы хотите добавить разделитель новой строки между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описывает параметр обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs изменяется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
CloudWatchLoggingOptions -> (структура)
Описывает параметры протоколирования Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево значение)
LogGroupName -> (строка)
LogStreamName -> (строка)
Синтаксис JSON:
{
"RoleARN": "string",
"CollectionEndpoint": "string",
"IndexName": "string",
"BufferingHints": {
"IntervalInSeconds": integer,
"SizeInMBs": integer
},
"RetryOptions": {
"DurationInSeconds": integer
},
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
}
--snowflake-destination-update (структура)
Обновление настроек конфигурации назначения Snowflake.
AccountUrl -> (строка)
PrivateKey -> (строка)
KeyPassphrase -> (строка)
User -> (строка)
Database -> (строка)
Schema -> (строка)
Table -> (строка)
SnowflakeRoleConfiguration -> (структура)
Необязательно настроить роль Snowflake. В противном случае будет использоваться роль пользователя по умолчанию.
Enabled -> (булево)
SnowflakeRole -> (строка)
DataLoadingOption -> (строка)
MetaDataColumnName -> (строка)
ContentColumnName -> (строка)
CloudWatchLoggingOptions -> (структура)
Описывает параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описывает конфигурацию обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описывает обработчик данных.
Примечание
Если вы хотите добавить новую строку разделителя между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описывает параметр обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs изменяется в диапазоне от 0,2 МБ до 3 МБ. Значение по умолчанию для буферизации равно 1 МБ для всех назначений, кроме Splunk. Для Splunk значение по умолчанию для буферизации равно 256 КБ.ParameterValue -> (строка)
RoleARN -> (строка)
RetryOptions -> (структура)
Укажите, как долго Firehose будет повторно отправлять данные на конечную точку HTTP New Relic. После отправки данных Firehose сначала ожидает подтверждения от конечной точки HTTP. Если произошла ошибка или подтверждение не поступило в течение времени ожидания подтверждения, Firehose начинает отсчет времени повторной попытки. Он продолжает повторные попытки до истечения срока повторной попытки. После этого Firehose рассматривает это как сбой доставки данных и резервирует данные в вашем ведре Amazon S3. Каждый раз, когда Firehose отправляет данные на конечную точку HTTP (как при первоначальной попытке, так и при повторной), он перезапускает счетчик тайм-аута подтверждения и ожидает подтверждения от конечной точки HTTP. Даже если истекает срок повторной попытки, Firehose все равно ожидает подтверждения, пока не получит его или не истечет время ожидания подтверждения. Если подтверждение истекает, Firehose определяет, есть ли время оставшееся в счетчике повторной попытки. Если есть, он пытается снова и повторяет логику, пока не получит подтверждение или не определит, что время повторной попытки истекло. Если вы не хотите, чтобы Firehose повторно отправлял данные, установите это значение в 0.
DurationInSeconds -> (целое число)
S3BackupMode -> (строка)
AllData, вы не можете изменить его на FailedDataOnly.S3Update -> (структура)
Описывает обновление назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в МБ перед передачей их в пункт назначения. Значение по умолчанию равно 5. Этот параметр необязателен, но если вы укажете значение, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который обычно поступает в поток Firehose в течение 10 секунд. Например, если вы обычно принимаете данные со скоростью 1 МБ/с, значение должно составлять 10 МБ или больше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, значение по умолчанию — UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP нельзя указывать для назначений Amazon Redshift, поскольку они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из ведра S3.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
SecretsManagerConfiguration -> (структура)
Описывает конфигурацию Secrets Manager в Snowflake.
SecretARN -> (строка)
True.RoleARN -> (строка)
Enabled -> (булево)
True, конфигурация менеджера секретов переписывает существующие секреты в конфигурации назначения. Если установлено значение False, Firehose возвращается к учетным данным в конфигурации назначения.BufferingHints -> (структура)
Описывает буферизацию, выполняемую перед передачей данных в назначение Snowflake.
SizeInMBs -> (целое число)
IntervalInSeconds -> (целое число)
JSON-синтаксис:
{
"AccountUrl": "string",
"PrivateKey": "string",
"KeyPassphrase": "string",
"User": "string",
"Database": "string",
"Schema": "string",
"Table": "string",
"SnowflakeRoleConfiguration": {
"Enabled": true|false,
"SnowflakeRole": "string"
},
"DataLoadingOption": "JSON_MAPPING"|"VARIANT_CONTENT_MAPPING"|"VARIANT_CONTENT_AND_METADATA_MAPPING",
"MetaDataColumnName": "string",
"ContentColumnName": "string",
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"RoleARN": "string",
"RetryOptions": {
"DurationInSeconds": integer
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"S3Update": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
},
"SecretsManagerConfiguration": {
"SecretARN": "string",
"RoleARN": "string",
"Enabled": true|false
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
}
}
--iceberg-destination-update (структура)
Описание обновления для пункта назначения в таблицах Apache Iceberg.
DestinationTableConfigurationList -> (список)
Предоставляет список DestinationTableConfigurations, которые Firehose использует для доставки данных в таблицы Apache Iceberg. Firehose будет записывать данные с помощью операции вставки, если конфигурация, специфичная для таблицы, не указана здесь.
(структура)
Описание конфигурации пункта назначения в таблицах Apache Iceberg.
DestinationTableName -> (строка)
DestinationDatabaseName -> (строка)
UniqueKeys -> (список)
Список уникальных ключей для заданной таблицы Apache Iceberg. Firehose будет использовать их для выполнения операций создания, обновления или удаления в данной таблице Iceberg.
(строка)
PartitionSpec -> (структура)
Конфигурация спецификации разбиения для таблицы, используемой для автоматического создания таблицы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
Identity -> (список)
Список преобразований идентичности, которые выполняют преобразование идентичности. Преобразование принимает исходное значение и не изменяет его. Тип результата — исходный тип.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
(структура)
Представляет отдельное поле в PartitionSpec.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
SourceName -> (строка)
Имя столбца, которое нужно настроить в спецификации разбиения.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
S3ErrorOutputPrefix -> (строка)
SchemaEvolutionConfiguration -> (структура)
Конфигурация для включения автоматической эволюции схемы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
Enabled -> (булево)
Укажите, хотите ли вы включить эволюцию схемы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
TableCreationConfiguration -> (структура)
Конфигурация для включения автоматического создания таблицы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
Enabled -> (булево)
Укажите, хотите ли вы включить автоматическое создание таблицы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
BufferingHints -> (структура)
Описание подсказок для буферизации перед доставкой данных в пункт назначения. Эти параметры рассматриваются как подсказки, поэтому Firehose может выбрать использование других значений, если это оптимально. Параметры SizeInMBs и IntervalInSeconds необязательны. Однако, если вы укажете значение для одного из них, вы также должны указать значение для другого.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно передаете в поток Firehose за 10 секунд. Например, если вы обычно передаете данные со скоростью 1 MiB/сек, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CloudWatchLoggingOptions -> (структура)
Описание параметров ведения журнала Amazon CloudWatch для потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
ProcessingConfiguration -> (структура)
Описание конфигурации обработки данных.
Enabled -> (булево)
Processors -> (список)
Обработчики данных.
(структура)
Описание обработчика данных.
Примечание
Если вы хотите добавить новый разделитель строк между записями в объектах, которые передаются в Amazon S3, выберитеAppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, если вы выбрали AppendDelimiterToRecord.Type -> (строка)
Parameters -> (список)
Параметры обработчика.
(структура)
Описание параметра обработчика.
ParameterName -> (строка)
NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs диапазон составляет от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.ParameterValue -> (строка)
S3BackupMode -> (строка)
FailedDataOnly.RetryOptions -> (структура)
Поведение повторной попытки, если Firehose не может доставить данные в пункт назначения.
DurationInSeconds -> (целое число)
RoleARN -> (строка)
AppendOnly -> (булево)
Описание того, будут ли все входящие данные для этого потока доставки только добавлены (только вставки, а не обновления и удаления) для доставки Iceberg. Эта функция применима только к таблицам Apache Iceberg.
Значение по умолчанию — false. Если вы установите это значение в true, Firehose автоматически увеличит лимит пропускной способности потока на основе уровней ограничения потока. Если вы установите этот параметр в значение true для потока с обновлениями и удалениями, вы увидите доставку не в порядке.
CatalogConfiguration -> (структура)
Конфигурация, описывающая, где хранятся таблицы Iceberg пункта назначения.
CatalogARN -> (строка)
arn:aws:glue:region:account-id:catalog.WarehouseLocation -> (строка)
Местоположение хранилища для таблиц Apache Iceberg. Вы должны настроить это, если включены эволюция схемы и создание таблицы.
Amazon Data Firehose находится в предварительной версии и может быть изменена.
S3Configuration -> (структура)
Описание конфигурации пункта назначения в Amazon S3.
RoleARN -> (строка)
BucketARN -> (строка)
Prefix -> (строка)
ErrorOutputPrefix -> (строка)
BufferingHints -> (структура)
Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.
SizeInMBs -> (целое число)
Буферизовать входящие данные до указанного размера в MiB перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.
Рекомендуется установить этот параметр на значение, большее, чем объем данных, который вы обычно передаете в поток Firehose за 10 секунд. Например, если вы обычно передаете данные со скоростью 1 MiB/сек, значение должно быть 10 MiB или выше.
IntervalInSeconds -> (целое число)
SizeInMBs, и наоборот.CompressionFormat -> (строка)
Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.
Форматы сжатия SNAPPY или ZIP не могут быть указаны для пунктов назначения Amazon Redshift, так как они не поддерживаются операцией Amazon Redshift COPY, которая считывает данные из S3-ведра.
EncryptionConfiguration -> (структура)
Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию.
NoEncryptionConfig -> (строка)
KMSEncryptionConfig -> (структура)
Ключ шифрования.
AWSKMSKeyARN -> (строка)
CloudWatchLoggingOptions -> (структура)
Параметры ведения журнала CloudWatch для вашего потока Firehose.
Enabled -> (булево)
LogGroupName -> (строка)
LogStreamName -> (строка)
Синтаксис JSON:
{
"DestinationTableConfigurationList": [
{
"DestinationTableName": "string",
"DestinationDatabaseName": "string",
"UniqueKeys": ["string", ...],
"PartitionSpec": {
"Identity": [
{
"SourceName": "string"
}
...
]
},
"S3ErrorOutputPrefix": "string"
}
...
],
"SchemaEvolutionConfiguration": {
"Enabled": true|false
},
"TableCreationConfiguration": {
"Enabled": true|false
},
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
},
"ProcessingConfiguration": {
"Enabled": true|false,
"Processors": [
{
"Type": "RecordDeAggregation"|"Decompression"|"CloudWatchLogProcessing"|"Lambda"|"MetadataExtraction"|"AppendDelimiterToRecord",
"Parameters": [
{
"ParameterName": "LambdaArn"|"NumberOfRetries"|"MetadataExtractionQuery"|"JsonParsingEngine"|"RoleArn"|"BufferSizeInMBs"|"BufferIntervalInSeconds"|"SubRecordType"|"Delimiter"|"CompressionFormat"|"DataMessageExtraction",
"ParameterValue": "string"
}
...
]
}
...
]
},
"S3BackupMode": "FailedDataOnly"|"AllData",
"RetryOptions": {
"DurationInSeconds": integer
},
"RoleARN": "string",
"AppendOnly": true|false,
"CatalogConfiguration": {
"CatalogARN": "string",
"WarehouseLocation": "string"
},
"S3Configuration": {
"RoleARN": "string",
"BucketARN": "string",
"Prefix": "string",
"ErrorOutputPrefix": "string",
"BufferingHints": {
"SizeInMBs": integer,
"IntervalInSeconds": integer
},
"CompressionFormat": "UNCOMPRESSED"|"GZIP"|"ZIP"|"Snappy"|"HADOOP_SNAPPY",
"EncryptionConfiguration": {
"NoEncryptionConfig": "NoEncryption",
"KMSEncryptionConfig": {
"AWSKMSKeyARN": "string"
}
},
"CloudWatchLoggingOptions": {
"Enabled": true|false,
"LogGroupName": "string",
"LogStreamName": "string"
}
}
}
--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределяют значения, предоставленные JSON. Передача произвольных двоичных значений с помощью значения, предоставленного JSON, невозможна, поскольку строка будет интерпретироваться буквально. Это не может быть указано вместе с --cli-input-yaml.
--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса к API. Если не указано значение или значение input, выводится пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если указано yaml-input, будет напечатан пример входного YAML, который можно использовать с --cli-input-yaml. Если указано значение output, он проверяет входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.
Общие параметры
--debug (логическое значение)
Включить отладочную запись.
--endpoint-url (строка)
Переопределить значение URL по умолчанию для команды указанным URL.
--no-verify-ssl (логическое значение)
По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.
--no-paginate (логическое значение)
Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.
--output (строка)
Стиль форматирования для вывода команд.
- json
- текст
- таблица
- yaml
- yaml-поток
--query (строка)
Запрос JMESPath для фильтрации данных ответа.
--profile (строка)
Использовать определенный профиль из файла учетных данных.
--region (строка)
Регион для использования. Переопределяет параметры конфигурации/среды.
--version (строка)
Отобразить версию этого инструмента.
--color (строка)
Включить/выключить цветной вывод.
- включено
- выключено
- автоматически
--no-sign-request (логическое значение)
Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.
--ca-bundle (строка)
Файл с сертификатами CA для проверки SSL-сертификатов. Переопределяет параметры конфигурации/среды.
--cli-read-timeout (целое число)
Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться в блокирующем режиме без таймаута. Значение по умолчанию — 60 секунд.
--cli-connect-timeout (целое число)
Максимальное время подключения к сокету в секундах. Если значение установлено в 0, подключение к сокету будет выполняться в блокирующем режиме без таймаута. Значение по умолчанию — 60 секунд.
--cli-binary-format (строка)
Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, а двоичные значения должны быть переданы буквально. При предоставлении содержимого файла, соответствующего двоичному блоку, fileb:// всегда будет обрабатываться как двоичное и будет использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.
- base64
- raw-in-base64-out
--no-cli-pager (логическое значение)
Отключить пейджер CLI для вывода.
--cli-auto-prompt (логическое значение)
Автоматически запрашивать входные параметры CLI.
--no-cli-auto-prompt (логическое значение)
Отключить автоматический запрос входных параметров CLI.
Вывод
Нет
© Copyright 2025, Amazon Web Services. Created using Sphinx.
