describe-delivery-stream

Описание

Описывает указанный поток Firehose и его состояние. Например, после создания потока Firehose вызовите DescribeDeliveryStream, чтобы увидеть, является ли поток Firehose ACTIVE и, следовательно, готов к отправке данных.

Если состояние потока Firehose — CREATING_FAILED, это состояние не изменяется, и вы не можете повторно вызвать CreateDeliveryStream для него. Однако вы можете вызвать операцию DeleteDeliveryStream, чтобы удалить его. Если состояние — DELETING_FAILED, вы можете принудительно удалить его, вызвав DeleteDeliveryStream ещё раз, но с установленным в true значением DeleteDeliveryStreamInput$AllowForceDelete.

См. также: Документация API AWS

Синтаксис

  describe-delivery-stream
--delivery-stream-name <value>
[--limit <value>]
[--exclusive-start-destination-id <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--delivery-stream-name (строка)

Имя потока Firehose.

--limit (целое число)

Предел количества возвращаемых пунктов назначения. В потоке Firehose может быть одно место назначения.

--exclusive-start-destination-id (строка)

Идентификатор места назначения, с которого начать возврат информации о месте назначения. Firehose поддерживает одно место назначения на поток Firehose.

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставляемому --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные через JSON. Невозможно передавать произвольные двоичные значения с помощью значения, предоставленного в JSON, так как строка будет взята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит JSON-скелет в стандартный вывод без отправки запроса API. Если предоставлено значение без значения или со значением input, выводит пример JSON-ввода, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено значение yaml-input, оно выведет пример YAML-ввода, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернет пример выходного JSON для этой команды. Сгенерированный JSON-скелет не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном JSON-скелете.

Глобальные параметры

--debug (логическое значение)

Включить отладку логов.

--endpoint-url (строка)

Переопределить стандартный URL команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования для вывода команды.

json
текст
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определённый профиль из файла с данными учетных данных.

--region (строка)

Использовать указанный регион. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/отключить цветной вывод.

вкл
выкл
авто

--no-sign-request (логическое значение)

Не подписывать запросы. Данные учетных данных не будут загружены, если этот аргумент предоставлен.

--ca-bundle (строка)

Файл с набором сертификатов CA для проверки сертификатов SSL. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет выполняться блокирующим образом и не будет иметь таймаута. По умолчанию 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет выполняться блокирующим образом и не будет иметь таймаута. По умолчанию 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные блоки будут представлены в виде base64-кодированной строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое сопоставляется с двоичным блоком, fileb:// всегда будет рассматриваться как двоичное и будет использовать содержимое файла непосредственно независимо от настроек cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить пейджер CLI для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

DeliveryStreamDescription -> (структура)

Информация о потоке Firehose.

DeliveryStreamName -> (строка)

Имя потока Firehose.

DeliveryStreamARN -> (строка)

Amazon Resource Name (ARN) потока Firehose. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен сервисов Amazon Web Services.

DeliveryStreamStatus -> (строка)

Состояние потока Firehose. Если состояние потока Firehose — CREATING_FAILED, это состояние не изменяется, и вы не можете повторно вызвать CreateDeliveryStream для него. Однако вы можете вызвать операцию DeleteDeliveryStream, чтобы удалить его.

FailureDescription -> (структура)

Предоставляет детали в случае, если одна из следующих операций завершается неудачно из-за ошибки, связанной с KMS: CreateDeliveryStream , DeleteDeliveryStream , StartDeliveryStreamEncryption , StopDeliveryStreamEncryption .

Type -> (строка)

Тип ошибки, которая привела к сбою.

Details -> (строка)

Сообщение, содержащее подробности об ошибке, которая привела к сбою.

DeliveryStreamEncryptionConfiguration -> (структура)

Указывает состояние шифрования на стороне сервера (SSE) для потока Firehose.

KeyARN -> (строка)

Если KeyType — CUSTOMER_MANAGED_CMK, это поле содержит ARN управляемого клиентом CMK. Если KeyType — Amazon Web Services_OWNED_CMK, DeliveryStreamEncryptionConfiguration не содержит значения для KeyARN.

KeyType -> (строка)

Указывает тип управляемого клиентом главного ключа (CMK), используемого для шифрования. Значение по умолчанию — Amazon Web Services_OWNED_CMK. Дополнительную информацию о CMK см. в разделе Главные ключи клиентов (CMK).

Status -> (строка)

Это состояние шифрования на стороне сервера (SSE) для потока Firehose. Для полного описания различных значений этого состояния см. StartDeliveryStreamEncryption и StopDeliveryStreamEncryption . Если это состояние — ENABLING_FAILED или DISABLING_FAILED, это состояние последней попытки включения или отключения SSE, соответственно.

FailureDescription -> (структура)

Type -> (строка)

Тип ошибки, которая привела к сбою.

Details -> (строка)

Сообщение, содержащее подробности об ошибке, которая привела к сбою.

DeliveryStreamType -> (строка)

Тип потока Firehose. Может принимать следующие значения:

DirectPut : Приложения-поставщики имеют прямой доступ к потоку Firehose.
KinesisStreamAsSource : Поток Firehose использует поток данных Kinesis в качестве источника.

VersionId -> (строка)

Каждый раз, когда место назначения обновляется для потока Firehose, идентификатор версии изменяется, и текущий идентификатор версии требуется при обновлении места назначения. Это необходимо для того, чтобы служба знала, что она применяет изменения к правильной версии потока доставки.

CreateTimestamp -> (временная метка)

Дата и время создания потока Firehose.

LastUpdateTimestamp -> (временная метка)

Дата и время последнего обновления потока Firehose.

Source -> (структура)

Если параметр DeliveryStreamType равен KinesisStreamAsSource, объект SourceDescription, описывающий исходный поток данных Kinesis.

DirectPutSourceDescription -> (структура)

Сведения о Direct PUT, используемом в качестве источника для потока Firehose.

ThroughputHintInMBs -> (целое число)

Значение, которое вы настраиваете для этого параметра, предназначено только для информационных целей и не влияет на ограничение пропускной способности доставки Firehose. Вы можете использовать форму ограничений Firehose, чтобы запросить увеличение ограничения пропускной способности.

KinesisStreamSourceDescription -> (структура)

Значение KinesisStreamSourceDescription для исходного потока данных Kinesis.

KinesisStreamARN -> (строка)

Имя ресурса Amazon (ARN) исходного потока данных Kinesis. Дополнительные сведения см. в разделе Формат ARN потоков данных Amazon Kinesis .

RoleARN -> (строка)

ARN роли, используемой исходным потоком данных Kinesis. Дополнительные сведения см. в разделе Формат ARN Amazon Web Services Identity and Access Management (IAM) .

DeliveryStartTimestamp -> (метка времени)

Firehose начинает извлечение записей из потока данных Kinesis, начиная с этой метки времени.

MSKSourceDescription -> (структура)

Описание конфигурации кластера Amazon MSK, который будет использоваться в качестве источника для потока доставки.

MSKClusterARN -> (строка)

ARN кластера Amazon MSK.

TopicName -> (строка)

Название раздела в кластере Amazon MSK.

AuthenticationConfiguration -> (структура)

Конфигурация аутентификации кластера Amazon MSK.

RoleARN -> (строка)

ARN роли, используемой для доступа к кластеру Amazon MSK.

Connectivity -> (строка)

Тип подключения, используемого для доступа к кластеру Amazon MSK.

DeliveryStartTimestamp -> (метка времени)

Firehose начинает извлечение записей из раздела в кластере Amazon MSK, начиная с этой метки времени.

ReadFromTimestamp -> (метка времени)

Дата и время начала в формате UTC для позиции смещения в вашем разделе MSK, с которой Firehose начинает чтение. По умолчанию это значение устанавливается на метку времени, когда Firehose становится активным.

Если вы хотите создать поток Firehose с начальной позицией Earliest из SDK или CLI, вам нужно установить параметр ReadFromTimestampUTC в значение Epoch (1970-01-01T00:00:00Z).

DatabaseSourceDescription -> (структура)

Сведения о базе данных, используемой в качестве источника для потока Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Type -> (строка)

Тип ядра базы данных. Это может быть одно из следующих значений.

MySQL
PostgreSQL

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Endpoint -> (строка)

Конечная точка сервера базы данных.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Port -> (целое число)

Порт базы данных. Это может быть одно из следующих значений.

3306 для типа базы данных MySQL
5432 для типа базы данных PostgreSQL

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

SSLMode -> (строка)

Режим включения или отключения SSL, когда Firehose подключается к конечной точке базы данных.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Databases -> (структура)

Список шаблонов баз данных в исходной конечной точке базы данных, из которой Firehose будет выполнять чтение.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Include -> (список)

Список шаблонов баз данных в исходной конечной точке базы данных, которые необходимо включить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

Exclude -> (список)

Список шаблонов баз данных в исходной конечной точке базы данных, которые необходимо исключить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

Tables -> (структура)

Список шаблонов таблиц в исходной конечной точке базы данных, из которой Firehose будет выполнять чтение.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Include -> (список)

Список шаблонов таблиц в исходной конечной точке базы данных, которые необходимо включить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

Exclude -> (список)

Список шаблонов таблиц в исходной конечной точке базы данных, которые необходимо исключить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

Columns -> (структура)

Список шаблонов столбцов в исходной конечной точке базы данных, из которой Firehose будет выполнять чтение.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Include -> (список)

Список шаблонов столбцов в исходной базе данных, которые необходимо включить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

Exclude -> (список)

Список шаблонов столбцов в исходной базе данных, которые необходимо исключить для чтения Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

SurrogateKeys -> (список)

Необязательный список имен таблиц и столбцов, используемых в качестве уникальных ключевых столбцов при создании снимка, если таблицы не имеют настроенных первичных ключей.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(string)

SnapshotWatermarkTable -> (строка)

Полное имя таблицы в исходной конечной точке базы данных, которую Firehose использует для отслеживания прогресса снимка.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

SnapshotInfo -> (список)

Структура, описывающая информацию о снимке таблицы в исходной конечной точке базы данных, которую читает Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

(структура)

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Id -> (строка)

Идентификатор текущего снимка таблицы в исходной конечной точке базы данных.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Table -> (строка)

Полное имя таблицы в исходной конечной точке базы данных, которую читает Firehose.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

RequestTimestamp -> (метка времени)

Метка времени, когда текущий снимок сделан в таблице.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

RequestedBy -> (строка)

Принципал, отправивший запрос на создание текущего снимка в таблице.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Status -> (строка)

Состояние текущего снимка таблицы.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

FailureDescription -> (структура)

Предоставляет подробности в случае сбоя одной из следующих операций из-за ошибки, связанной с KMS: CreateDeliveryStream , DeleteDeliveryStream , StartDeliveryStreamEncryption , StopDeliveryStreamEncryption .

Type -> (строка)

Тип ошибки, вызвавшей сбой.

Details -> (строка)

Сообщение с подробностями об ошибке, вызвавшей сбой.

DatabaseSourceAuthenticationConfiguration -> (структура)

Структура для настройки методов аутентификации для подключения Firehose к исходной конечной точке базы данных.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

SecretsManagerConfiguration -> (структура)

Структура, определяющая, как Firehose обращается к секрету.

SecretARN -> (строка)

ARN секрета, в котором хранятся ваши учетные данные. Он должен находиться в том же регионе, что и поток Firehose, и роль. ARN секрета может находиться в другой учетной записи, чем поток Firehose и роль, так как Firehose поддерживает доступ к секретам между учетными записями. Этот параметр обязателен, когда Enabled установлено в True .

RoleARN -> (строка)

Указывает роль, которую Firehose принимает при вызове операции API Secrets Manager. Если вы предоставляете роль, она переопределяет любую роль, определенную для назначения, в конфигурации назначения. Если вы не предоставите ее, мы используем роль, относящуюся к назначению. Этот параметр требуется для Splunk.

Enabled -> (boolean)

Указывает, хотите ли вы использовать функцию диспетчера секретов. Когда установлено значение True, конфигурация диспетчера секретов перезаписывает существующие секреты в конфигурации назначения. Когда установлено значение False, Firehose возвращается к учетным данным в конфигурации назначения.

DatabaseSourceVPCConfiguration -> (структура)

Подробности о службе конечной точки VPC, которую Firehose использует для создания PrivateLink к базе данных.

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

VpcEndpointServiceName -> (строка)

Имя службы конечной точки VPC, которую Firehose использует для создания PrivateLink к базе данных. Служба конечной точки должна иметь принцип службы Firehose firehose.amazonaws.com в качестве разрешенного принципала в службе конечной точки VPC. Имя службы конечной точки VPC — это строка, которая выглядит как com.amazonaws.vpce.<region>.<vpc-endpoint-service-id> .

Amazon Data Firehose находится в предварительном выпуске и может быть изменена.

Destinations -> (list)

Пункты назначения.

(структура)

Описывает пункт назначения для потока Firehose.

DestinationId -> (строка)

Идентификатор пункта назначения.

S3DestinationDescription -> (структура)

[Устарело] Пункт назначения в Amazon S3.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) учетных данных Amazon Web Services. Дополнительная информация в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

BucketARN -> (строка)

ARN корзины S3. Дополнительная информация в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для доставленных файлов Amazon S3. Вы также можете указать собственный префикс, как описано в разделе Пользовательские префиксы для объектов Amazon S3.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к ошибочным записям перед записью их в S3. Этот префикс размещается сразу после имени корзины. Сведения о том, как указать этот префикс, см. в разделе Пользовательские префиксы для объектов Amazon S3.

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед отправкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, обычно загружаемых в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед отправкой в пункт назначения. Значение по умолчанию — 300. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, используется шифрование по умолчанию.

NoEncryptionConfig -> (строка)

Явно переопределяет существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon (ARN) ключа шифрования. Должен принадлежать к тому же региону Amazon Web Services, что и целевая корзина Amazon S3. Дополнительная информация в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

ExtendedS3DestinationDescription -> (структура)

Пункт назначения в Amazon S3.

RoleARN -> (строка)

BucketARN -> (строка)

ARN корзины S3. Дополнительная информация в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

ErrorOutputPrefix -> (строка)

BufferingHints -> (структура)

Параметры буферизации.

SizeInMBs -> (целое число)

IntervalInSeconds -> (целое число)

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, используется шифрование по умолчанию.

NoEncryptionConfig -> (строка)

Явно переопределяет существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Настройка обработки данных.

Enabled -> (логическое значение)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описывает обработчик данных.

Примечание

Если вы хотите добавить новый разделитель строк между записями в объектах, которые доставляются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs изменяется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию — 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию — 256 КБ.

ParameterValue -> (строка)

Значение параметра.

S3BackupMode -> (строка)

Режим резервного копирования Amazon S3.

S3BackupDescription -> (структура)

Настройка резервного копирования в Amazon S3.

RoleARN -> (строка)

BucketARN -> (строка)

ARN корзины S3. Дополнительная информация в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

ErrorOutputPrefix -> (строка)

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

IntervalInSeconds -> (целое число)

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, используется шифрование по умолчанию.

NoEncryptionConfig -> (строка)

Явно переопределяет существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

DataFormatConversionConfiguration -> (структура)

Сериализатор, десериализатор и схема для преобразования данных из формата JSON в формат Parquet или ORC перед записью в Amazon S3.

SchemaConfiguration -> (структура)

Указывает таблицу каталога данных Amazon Web Services Glue, содержащую информацию о столбцах. Этот параметр обязателен, если Enabled имеет значение true.

RoleARN -> (строка)

Роль, которую Firehose может использовать для доступа к Amazon Web Services Glue. Эта роль должна быть в той же учётной записи, что и Firehose. Роли между учётными записями запрещены.

Предупреждение

Если параметр запроса SchemaConfiguration используется в рамках вызова API CreateDeliveryStream, то свойство RoleARN является обязательным и должно быть указано.

CatalogId -> (строка)

Идентификатор каталога данных Amazon Web Services Glue. Если не указан, используется идентификатор учётной записи Amazon Web Services по умолчанию.

DatabaseName -> (строка)

Указывает имя базы данных Amazon Web Services Glue, которая содержит схему для выходных данных.

Предупреждение

Если параметр запроса SchemaConfiguration используется в рамках вызова API CreateDeliveryStream, то свойство DatabaseName является обязательным и должно быть указано.

TableName -> (строка)

Указывает таблицу Amazon Web Services Glue, содержащую информацию о столбцах, которые составляют схему ваших данных.

Предупреждение

Если параметр запроса SchemaConfiguration используется в рамках вызова API CreateDeliveryStream, то свойство TableName является обязательным и должно быть указано.

Region -> (строка)

Если не указан регион Amazon Web Services, используется текущий регион по умолчанию.

VersionId -> (строка)

Указывает версию таблицы для схемы выходных данных. Если эта версия не указана или установлена в LATEST, Firehose использует последнюю версию. Это означает, что любые обновления таблицы автоматически подхватываются.

InputFormatConfiguration -> (структура)

Указывает десериализатор, который Firehose должен использовать для преобразования формата ваших данных из JSON. Этот параметр обязателен, если Enabled имеет значение true.

Deserializer -> (структура)

Указывает, какой десериализатор использовать. Можно выбрать Apache Hive JSON SerDe или OpenX JSON SerDe. Если оба не null, сервер отклонит запрос.

OpenXJsonSerDe -> (структура)

OpenX SerDe. Используется Firehose для десериализации данных, что означает преобразование из формата JSON для подготовки к сериализации в формат Parquet или ORC. Это один из двух доступных десериализаторов, в зависимости от необходимой функциональности. Другой вариант — собственный Hive/HCatalog JsonSerDe.

ConvertDotsInJsonKeysToUnderscores -> (логическое значение)

При установке в true указывает, что имена ключей содержат точки, и вы хотите, чтобы Firehose заменял их на нижние подчеркивания. Это полезно, так как Apache Hive не допускает точек в именах столбцов. Например, если JSON содержит ключ с именем “a.b”, можно определить имя столбца как “a_b” при использовании этого параметра.

По умолчанию установлено false.

CaseInsensitive -> (логическое значение)

При установке в true, что является значением по умолчанию, Firehose преобразует ключи JSON в нижний регистр перед десериализацией.

ColumnToJsonKeyMappings -> (карта)

Сопоставляет имена столбцов с ключами JSON, которые не совпадают с именами столбцов. Это полезно, когда JSON содержит ключи, являющиеся ключевыми словами Hive. Например, timestamp — ключевое слово Hive. Если у вас есть ключ JSON с именем timestamp, установите этот параметр в {"ts": "timestamp"}, чтобы сопоставить этот ключ со столбцом с именем ts.

key -> (строка)

value -> (строка)

HiveJsonSerDe -> (структура)

Собственный Hive/HCatalog JsonSerDe. Используется Firehose для десериализации данных, что означает преобразование из формата JSON для подготовки к сериализации в формат Parquet или ORC. Это один из двух доступных десериализаторов, в зависимости от необходимой функциональности. Другой вариант — OpenX SerDe.

TimestampFormats -> (список)

Указывает, как Firehose должен анализировать даты и временные метки, которые могут присутствовать в вашем входном JSON. Для указания этих строк формата следуйте синтаксису форматов строк JodaTime’s DateTimeFormat. Дополнительную информацию см. в классе DateTimeFormat. Также можно использовать специальное значение millis для анализа временных меток в миллисекундах эпохи. Если формат не указан, Firehose использует java.sql.Timestamp::valueOf по умолчанию.

(строка)

OutputFormatConfiguration -> (структура)

Указывает сериализатор, который Firehose должен использовать для преобразования формата ваших данных в формат Parquet или ORC. Этот параметр обязателен, если Enabled имеет значение true.

Serializer -> (структура)

Указывает, какой сериализатор использовать. Можно выбрать ORC SerDe или Parquet SerDe. Если оба не null, сервер отклонит запрос.

ParquetSerDe -> (структура)

Сериализатор для преобразования данных в формат Parquet перед сохранением в Amazon S3. Дополнительную информацию см. в Apache Parquet.

BlockSizeBytes -> (целое число)

Размер блока Hadoop Distributed File System (HDFS). Полезно, если вы планируете скопировать данные из Amazon S3 в HDFS перед запросом. По умолчанию 256 МБ, минимум 64 МБ. Firehose использует это значение для расчёта заполнения.

PageSizeBytes -> (целое число)

Размер страницы Parquet. Блоки столбцов разбиты на страницы. Страница концептуально является неделимой единицей (с точки зрения сжатия и кодирования). Минимальное значение — 64 КБ, по умолчанию — 1 МБ.

Compression -> (строка)

Код сжатия для использования над блоками данных. Возможные значения — UNCOMPRESSED, SNAPPY и GZIP, по умолчанию — SNAPPY. Используйте SNAPPY для повышения скорости декомпрессии. Используйте GZIP, если более важен коэффициент сжатия, чем скорость.

EnableDictionaryCompression -> (логическое значение)

Указывает, включить ли сжатие словаря.

MaxPaddingBytes -> (целое число)

Максимальное количество заполнения. Полезно, если вы планируете скопировать данные из Amazon S3 в HDFS перед запросом. По умолчанию — 0.

WriterVersion -> (строка)

Указывает версию формата строк для вывода. Возможные значения — V1 и V2. По умолчанию — V1.

OrcSerDe -> (структура)

Сериализатор для преобразования данных в формат ORC перед сохранением в Amazon S3. Дополнительную информацию см. в Apache ORC.

StripeSizeBytes -> (целое число)

Количество байтов в каждой полосе. По умолчанию 64 МБ, минимум 8 МБ.

BlockSizeBytes -> (целое число)

RowIndexStride -> (целое число)

Количество строк между записями индекса. По умолчанию 10 000, минимум 1 000.

EnablePadding -> (логическое значение)

Установите в true, чтобы указать, что вы хотите, чтобы полосы были заполнены до границ блоков HDFS. Полезно, если вы планируете скопировать данные из Amazon S3 в HDFS перед запросом. По умолчанию false.

PaddingTolerance -> (двойное число)

Число от 0 до 1, которое определяет допуск к блочному заполнению в виде десятичной дроби размера полосы. Значение по умолчанию — 0,05, что означает 5 процентов размера полосы.

Для значений по умолчанию — полосы ORC размером 64 МБ и блоки HDFS размером 256 МБ — допуск по умолчанию к заполнению блока составляет 5 процентов, что резервирует максимум 3,2 МБ для заполнения в пределах блока размером 256 МБ. В таком случае, если доступный размер в блоке больше 3,2 МБ, вставляется новая, меньшая полоса, чтобы уместиться в этом пространстве. Это гарантирует, что ни одна полоса не пересекает границы блоков и не вызывает удалённые чтения внутри задачи локального узла.

Firehose игнорирует этот параметр, когда OrcSerDe$EnablePadding — false.

Compression -> (строка)

Код сжатия для использования над блоками данных. По умолчанию — SNAPPY.

BloomFilterColumns -> (список)

Имена столбцов, для которых Firehose должен создать фильтры Блума. По умолчанию — null.

(строка)

BloomFilterFalsePositiveProbability -> (двойное число)

Вероятность ложноположительного результата фильтра Блума (FPP). Чем меньше FPP, тем больше фильтр Блума. Значение по умолчанию — 0,05, минимум — 0, максимум — 1.

DictionaryKeyThreshold -> (двойное число)

Представляет долю от общего количества непустых строк. Чтобы отключить кодирование словаря, установите эту долю на значение, меньшее числа различных ключей в словаре. Чтобы всегда использовать кодирование словаря, установите этот порог в 1.

FormatVersion -> (строка)

Версия записываемого файла. Возможные значения — V0_11 и V0_12. По умолчанию — V0_12.

Enabled -> (логическое значение)

По умолчанию — true. Установите в false, если вы хотите отключить преобразование формата, сохранив детали конфигурации.

DynamicPartitioningConfiguration -> (структура)

Конфигурация механизма динамического разбиения, который создаёт более мелкие наборы данных из потоковых данных, разделяя их на основе ключей разбиения. В настоящее время динамическое разбиение поддерживается только для целевых Amazon S3.

RetryOptions -> (структура)

Поведение повторных попыток в случае, если Firehose не может доставить данные в префикс Amazon S3.

DurationInSeconds -> (целое число)

Период времени, в течение которого Firehose пытается повторно доставить данные по указанному месту назначения.

Enabled -> (логическое значение)

Указывает, что динамическое разбиение включено для этого потока Firehose.

FileExtension -> (строка)

Укажите расширение файла. Оно переопределит расширение по умолчанию

CustomTimeZone -> (строка)

Предпочитаемый часовой пояс. По умолчанию — UTC.

RedshiftDestinationDescription -> (структура)

Назначение в Amazon Redshift.

RoleARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) для учетных данных Amazon Web Services. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

ClusterJDBCURL -> (строка)

Строка подключения к базе данных.

CopyCommand -> (структура)

Команда COPY.

DataTableName -> (строка)

Имя целевой таблицы. Таблица должна уже существовать в базе данных.

DataTableColumns -> (строка)

Список имен столбцов, разделенных запятыми.

CopyOptions -> (строка)

Дополнительные параметры для использования с командой Amazon Redshift COPY. Дополнительную информацию см. в разделе «Дополнительные параметры» команды COPY в Amazon Redshift. Некоторые примеры, применимые к Firehose:

delimiter '\t' lzop; - поля разделяются символом «t» (TAB) и сжимаются с помощью lzop.

delimiter '|' - поля разделяются символом «|» (по умолчанию).

delimiter '|' escape - разделитель должен быть экранирован.

fixedwidth 'venueid:3,venuename:25,venuecity:12,venuestate:2,venueseats:6' - поля имеют фиксированную ширину в источнике, при этом каждая ширина указывается после каждого столбца в таблице.

JSON 's3://mybucket/jsonpaths.txt' - данные в формате JSON, и указанный путь представляет собой формат данных.

Дополнительные примеры см. в примерах команды COPY в Amazon Redshift.

Username -> (строка)

Имя пользователя.

RetryOptions -> (структура)

Поведение повторной попытки, если Firehose не может доставить документы в Amazon Redshift. Значение по умолчанию — 3600 (60 минут).

DurationInSeconds -> (целое число)

Длительность повторных попыток доставки Firehose после сбоя, начиная с исходного запроса и включая первую попытку. Значение по умолчанию — 3600 секунд (60 минут). Firehose не выполняет повторные попытки, если значение DurationInSeconds равно 0 (ноль) или если первая попытка доставки занимает больше времени, чем текущее значение.

S3DestinationDescription -> (структура)

Назначение в Amazon S3.

RoleARN -> (строка)

BucketARN -> (строка)

ARN корзины S3. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» используется автоматически для доставленных файлов Amazon S3. Вы также можете указать пользовательский префикс, как описано в разделе Пользовательские префиксы для объектов Amazon S3.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к неудачным записям перед записью их в S3. Этот префикс появляется непосредственно после имени корзины. Сведения об указании этого префикса см. в разделе Пользовательские префиксы для объектов Amazon S3.

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед доставкой в целевое место назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, обычно поступающих в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед доставкой в целевое место назначения. Значение по умолчанию — 300. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.

NoEncryptionConfig -> (строка)

Явно переопределить существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) для ключа шифрования. Должен принадлежать той же области Amazon Web Services, что и целевая корзина Amazon S3. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Настройка обработки данных.

Enabled -> (логическое значение)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Если требуется добавить новый разделитель строк между записями в объектах, которые доставляются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию — 1 МБ для всех мест назначения, за исключением Splunk. Для Splunk значение буферизации по умолчанию — 256 КБ.

ParameterValue -> (строка)

Значение параметра.

S3BackupMode -> (строка)

Режим резервного копирования Amazon S3.

S3BackupDescription -> (структура)

Настройка резервного копирования в Amazon S3.

RoleARN -> (строка)

BucketARN -> (строка)

Prefix -> (строка)

ErrorOutputPrefix -> (строка)

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

IntervalInSeconds -> (целое число)

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.

NoEncryptionConfig -> (строка)

Явно переопределить существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

SecretsManagerConfiguration -> (структура)

Настройка, определяющая, как вы получаете доступ к секретам для Amazon Redshift.

SecretARN -> (строка)

ARN секрета, хранящего ваши учетные данные. Он должен находиться в том же регионе, что и поток Firehose и роль. ARN секрета может находиться в другом аккаунте, чем поток Firehose и роль, так как Firehose поддерживает доступ к секретам в других аккаунтах. Этот параметр обязателен, когда Enabled установлено в True.

RoleARN -> (строка)

Определяет роль, которую Firehose принимает на себя при вызове операции API Secrets Manager. При предоставлении роли она переопределяет любую роль, специфичную для пункта назначения, определенную в конфигурации пункта назначения. Если вы не предоставите роль, мы будем использовать роль, специфичную для пункта назначения. Этот параметр требуется для Splunk.

Enabled -> (логическое значение)

Указывает, хотите ли вы использовать функцию управления секретами. При установке в True конфигурация управления секретами переписывает существующие секреты в конфигурации пункта назначения. При установке в False Firehose использует учетные данные в конфигурации пункта назначения по умолчанию.

ElasticsearchDestinationDescription -> (структура)

Назначение в Amazon OpenSearch Service.

RoleARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) учетных данных Amazon Web Services. Дополнительную информацию см. в разделах Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

DomainARN -> (строка)

ARN домена Amazon OpenSearch Service. Дополнительную информацию см. в разделах Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

Firehose использует либо ClusterEndpoint, либо DomainARN для отправки данных в Amazon OpenSearch Service.

ClusterEndpoint -> (строка)

Конечная точка для связи с кластером. Firehose использует либо эту ClusterEndpoint, либо поле DomainARN для отправки данных в Amazon OpenSearch Service.

IndexName -> (строка)

Имя индекса Elasticsearch.

TypeName -> (строка)

Имя типа Elasticsearch. Это относится к Elasticsearch 6.x и более ранним версиям. Для Elasticsearch 7.x и OpenSearch Service 1.x значение для TypeName отсутствует.

IndexRotationPeriod -> (строка)

Период вращения индекса Elasticsearch

BufferingHints -> (структура)

Параметры буферизации.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед отправкой их в пункт назначения. Значение по умолчанию — 300 (5 минут).

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед отправкой их в пункт назначения. Значение по умолчанию — 5.

Рекомендуется задать это значение больше, чем объем данных, обычно поступающих в поток Firehose за 10 секунд. Например, если вы обычно принимаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.

RetryOptions -> (структура)

Параметры повторных попыток Amazon OpenSearch Service.

DurationInSeconds -> (целое число)

После первоначальной неудачи при передаче данных в Amazon OpenSearch Service общее время, в течение которого Firehose повторяет попытку (включая первую попытку). По истечении этого времени неудачные документы записываются в Amazon S3. Значение по умолчанию — 300 секунд (5 минут). Значение 0 означает отсутствие повторных попыток.

S3BackupMode -> (строка)

Режим резервного копирования Amazon S3.

S3DestinationDescription -> (структура)

Назначение Amazon S3.

RoleARN -> (строка)

BucketARN -> (строка)

ARN корзины S3. Дополнительную информацию см. в разделах Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для переданных файлов Amazon S3. Вы также можете указать настраиваемый префикс, как описано в Custom Prefixes for Amazon S3 Objects.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к проблемным записям перед записью их в S3. Этот префикс появляется сразу после имени корзины. Информацию о том, как указать этот префикс, см. в Custom Prefixes for Amazon S3 Objects.

BufferingHints -> (структура)

Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в Мб перед отправкой их в пункт назначения. Значение по умолчанию — 5. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед отправкой их в пункт назначения. Значение по умолчанию — 300. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.

NoEncryptionConfig -> (строка)

Используется для отключения шифрования.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) ключа шифрования. Должен принадлежать той же области Amazon Web Services, что и целевая корзина Amazon S3. Дополнительную информацию см. в разделах Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Настройка обработки данных.

Enabled -> (булево)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Если вы хотите добавить новую строку разделителя между записями в объектах, которые отправляются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика при выборе AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs находится в диапазоне от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех назначений, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch.

Enabled -> (булево)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

VpcConfigurationDescription -> (структура)

Подробности о виртуальной сети VPC назначения Amazon OpenSearch или Amazon OpenSearch Serverless.

SubnetIds -> (список)

Идентификаторы подсетей, которые Firehose использует для создания ENI в VPC назначения Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входящего и исходящего трафика позволяют трафику проходить от подсетей, идентификаторы которых указаны здесь, к подсетям, имеющим конечные точки Amazon OpenSearch Service. Firehose создает как минимум один ENI в каждой указанной здесь подсети. Не удаляйте и не изменяйте эти ENI.

Количество ENI, создаваемых Firehose в указанных здесь подсетях, автоматически масштабируется вверх и вниз в зависимости от пропускной способности. Чтобы позволить Firehose масштабировать количество ENI в соответствии с пропускной способностью, убедитесь, что у вас достаточный квота. Для расчета необходимой квоты предположите, что Firehose может создать до трех ENI для этого потока Firehose для каждой указанной здесь подсети. Дополнительную информацию о квоте ENI см. в разделе Network Interfaces в теме квот Amazon VPC.

(строка)

RoleARN -> (строка)

ARN роли IAM, которую поток Firehose использует для создания конечных точек в целевой VPC. Вы можете использовать существующую роль Firehose или указать новую роль. В любом случае убедитесь, что роль доверяет принципалу службы Firehose и что она предоставляет следующие разрешения:

ec2:DescribeVpcs
ec2:DescribeVpcAttribute
ec2:DescribeSubnets
ec2:DescribeSecurityGroups
ec2:DescribeNetworkInterfaces
ec2:CreateNetworkInterface
ec2:CreateNetworkInterfacePermission
ec2:DeleteNetworkInterface

Если вы отозвете эти разрешения после создания потока Firehose, Firehose не сможет масштабироваться, создавая дополнительные ENI при необходимости. В результате вы можете наблюдать снижение производительности.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности, которые Firehose использует при создании ENI в VPC назначения Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и у домена Amazon ES, или другие. Если вы указываете другие группы безопасности, убедитесь, что они разрешают исходящий HTTPS-трафик в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик от указанных здесь групп безопасности. Если вы используете ту же группу безопасности для потока Firehose и домена Amazon OpenSearch Service, убедитесь, что правило входящего трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах групп безопасности см. в документации Amazon VPC в разделе Правила групп безопасности.

(строка)

VpcId -> (строка)

Идентификатор VPC целевого домена Amazon OpenSearch Service.

DocumentIdOptions -> (структура)

Указывает метод настройки идентификатора документа. Поддерживаются методы генерирования идентификатора документа Firehose и генерирования идентификатора документа OpenSearch Service.

DefaultDocumentIdFormat -> (строка)

При выборе параметра FIREHOSE_DEFAULT Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при повторных попытках передачи, что помогает предотвратить повторный индексирование одной и той же записи с разными идентификаторами документов.

При выборе параметра NO_DOCUMENT_ID Firehose не включает никакие идентификаторы документов в запросы, которые он отправляет в Amazon OpenSearch Service. Это приводит к тому, что домен Amazon OpenSearch Service генерирует идентификаторы документов. При многократных попытках передачи это может привести к индексированию одной и той же записи более одного раза с различными идентификаторами документов. Этот параметр позволяет операциям с высокой частотой записи, таким как импорт журналов и данных отслеживания, использовать меньше ресурсов в домене Amazon OpenSearch Service, что приводит к улучшению производительности.

AmazonopensearchserviceDestinationDescription -> (структура)

Пункт назначения в Amazon OpenSearch Service.

RoleARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) учетных данных Amazon Web Services.

DomainARN -> (строка)

ARN домена Amazon OpenSearch Service.

ClusterEndpoint -> (строка)

Точка входа для взаимодействия с кластером. Firehose использует либо этот ClusterEndpoint, либо поле DomainARN для отправки данных в Amazon OpenSearch Service.

IndexName -> (строка)

Имя индекса Amazon OpenSearch Service.

TypeName -> (строка)

Имя типа Amazon OpenSearch Service. Это относится к Elasticsearch 6.x и более ранним версиям. Для Elasticsearch 7.x и OpenSearch Service 1.x значение TypeName отсутствует.

IndexRotationPeriod -> (строка)

Период вращения индексов Amazon OpenSearch Service.

BufferingHints -> (структура)

Параметры буферизации.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед доставкой в пункт назначения. Значение по умолчанию — 300 (5 минут).

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед доставкой в пункт назначения. Значение по умолчанию — 5.

Рекомендуется установить это значение больше, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или больше.

RetryOptions -> (структура)

Параметры повторных попыток Amazon OpenSearch Service.

DurationInSeconds -> (целое число)

После первоначальной неудачи при доставке в Amazon OpenSearch Service общее время, в течение которого Firehose повторяет попытку доставки (включая первую попытку). По истечении этого времени необработанные документы записываются в Amazon S3. Значение по умолчанию — 300 секунд (5 минут). Значение 0 (ноль) означает отсутствие повторных попыток.

S3BackupMode -> (строка)

Режим резервного копирования Amazon S3.

S3DestinationDescription -> (структура)

Описание пункта назначения в Amazon S3.

RoleARN -> (строка)

Идентификатор ресурса Amazon Web Services (ARN) учетных данных Amazon Web Services. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

BucketARN -> (строка)

ARN корзины S3. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для переданных файлов Amazon S3. Вы также можете указать пользовательский префикс, как описано в разделе Пользовательские префиксы для объектов Amazon S3.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose вычисляет и добавляет к необработанным записям перед записью их в S3. Этот префикс появляется непосредственно после имени корзины. Дополнительную информацию о том, как указать этот префикс, см. в разделе Пользовательские префиксы для объектов Amazon S3.

BufferingHints -> (структура)

Параметр буферизации. Если не указано значение, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МиБ перед доставкой в пункт назначения. Значение по умолчанию — 5. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется установить это значение больше, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или больше.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах перед доставкой в пункт назначения. Значение по умолчанию — 300. Этот параметр необязателен, но если вы укажете значение для него, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если не указано значение, значение по умолчанию — UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если не указано значение, используется шифрование по умолчанию.

NoEncryptionConfig -> (строка)

Явно переопределить существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon (ARN) ключа шифрования. Должен принадлежать той же области Amazon Web Services, что и целевая корзина Amazon S3. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево значение)

Включает или выключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Описание конфигурации обработки данных.

Enabled -> (булево значение)

Включает или выключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Если вы хотите добавить новую разделитель строки между записями в объектах, которые доставляются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. BufferSizeInMBs находится в диапазоне от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию — 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию — 256 КБ.

ParameterValue -> (строка)

Значение параметра.

CloudWatchLoggingOptions -> (структура)

Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево значение)

Включает или выключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

VpcConfigurationDescription -> (структура)

Подробности VPC пункта назначения Amazon OpenSearch Service.

SubnetIds -> (список)

Идентификаторы подсетей, которые Firehose использует для создания ENI в VPC пункта назначения Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входящего и исходящего трафика позволяют трафику проходить от подсетей, идентификаторы которых указаны здесь, до подсетей с целевыми точками входа Amazon OpenSearch Service. Firehose создает по крайней мере одну ENI в каждой из указанных подсетей. Не удаляйте и не изменяйте эти ENI.

Количество ENI, созданных Firehose в указанных подсетях, динамически масштабируется вверх и вниз в зависимости от пропускной способности. Чтобы Firehose мог масштабировать количество ENI для соответствия пропускной способности, убедитесь, что у вас достаточно квот. Чтобы помочь вам рассчитать необходимые квоты, предположите, что Firehose может создать до трех ENI для данного потока Firehose для каждой указанной подсети. Дополнительную информацию о квотах ENI см. в разделе Сеть интерфейсы в разделе квоты Amazon VPC.

(строка)

RoleARN -> (строка)

ARN роли IAM, которую поток Firehose использует для создания точек входа в целевой VPC. Вы можете использовать существующую роль доставки Firehose или указать новую роль. В любом случае, убедитесь, что роль доверяет сервисному принципу Firehose и предоставляет следующие разрешения:

ec2:DescribeVpcs
ec2:DescribeVpcAttribute
ec2:DescribeSubnets
ec2:DescribeSecurityGroups
ec2:DescribeNetworkInterfaces
ec2:CreateNetworkInterface
ec2:CreateNetworkInterfacePermission
ec2:DeleteNetworkInterface

Если вы отозвать эти разрешения после создания потока Firehose, Firehose не сможет масштабировать выход, создавая больше ENI при необходимости. В результате вы можете заметить ухудшение производительности.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности, которые Firehose использует при создании ENI в VPC пункта назначения Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и домен Amazon ES, или другие. Если вы укажете другие группы безопасности, убедитесь, что они разрешают исходящий трафик HTTPS в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик из указанных здесь групп безопасности. Если вы используете ту же группу безопасности для потока Firehose и домена Amazon OpenSearch Service, убедитесь, что правило входящего трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах группы безопасности см. в документации Amazon VPC.

(строка)

VpcId -> (строка)

Идентификатор VPC пункта назначения Amazon OpenSearch Service.

DocumentIdOptions -> (структура)

Указывает метод настройки идентификатора документа. Поддерживаемые методы — генерируемый Firehose идентификатор документа и генерируемый OpenSearch Service идентификатор документа.

DefaultDocumentIdFormat -> (строка)

Когда выбрана опция FIREHOSE_DEFAULT, Firehose генерирует уникальный идентификатор документа для каждой записи на основе уникального внутреннего идентификатора. Сгенерированный идентификатор документа стабилен при нескольких попытках доставки, что помогает предотвратить индексирование одной и той же записи несколько раз с разными идентификаторами документов.

Когда выбрана опция NO_DOCUMENT_ID, Firehose не включает идентификаторы документов в запросы, которые он отправляет Amazon OpenSearch Service. Это заставляет домен Amazon OpenSearch Service генерировать идентификаторы документов. В случае нескольких попыток доставки это может привести к индексированию одной и той же записи более одного раза с различными идентификаторами документов. Этот параметр позволяет операциям с большой записью, таким как загрузка журналов и данных наблюдаемости, потреблять меньше ресурсов в домене Amazon OpenSearch Service, что приводит к повышению производительности.

SplunkDestinationDescription -> (структура)

Назначение в Splunk.

HECEndpoint -> (строка)

Конечная точка HTTP Event Collector (HEC), в которую Firehose отправляет данные.

HECEndpointType -> (строка)

Этот тип может быть либо “Raw”, либо “Event”.

HECToken -> (строка)

GUID, полученный из кластера Splunk при создании новой конечной точки HEC.

HECAcknowledgmentTimeoutInSeconds -> (целое число)

Время ожидания Firehose получения подтверждения от Splunk после отправки данных. По истечении срока ожидания Firehose либо пытается повторно отправить данные, либо рассматривает это как ошибку в зависимости от настроек повторных попыток.

RetryOptions -> (структура)

Поведение при повторной попытке, если Firehose не может доставить данные в Splunk или не получает подтверждение от Splunk.

DurationInSeconds -> (целое число)

Общее время, потраченное Firehose на повторные попытки. Это время начинается после неудачной первой попытки отправки данных в Splunk. Оно не включает промежутки времени, в течение которых Firehose ожидает подтверждения от Splunk после каждой попытки.

S3BackupMode -> (строка)

Определяет, как документы должны быть доставлены в Amazon S3. При установке в значение FailedDocumentsOnly Firehose записывает все данные, которые не удалось проиндексировать, в указанный пункт назначения Amazon S3. При установке в значение AllDocuments Firehose доставляет все входящие записи в Amazon S3 и также записывает неудачные документы в Amazon S3. Значение по умолчанию - FailedDocumentsOnly.

S3DestinationDescription -> (структура)

Пункт назначения Amazon S3.

RoleARN -> (строка)

Amazon Resource Name (ARN) учетных данных Amazon Web Services. Для получения дополнительной информации см. Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

BucketARN -> (строка)

ARN корзины S3. Для получения дополнительной информации см. Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

Prefix -> (строка)

Префикс в формате “YYYY/MM/DD/HH” автоматически используется для сгенерированных файлов Amazon S3. Также можно указать пользовательский префикс, как описано в Custom Prefixes for Amazon S3 Objects.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к неудачным записям перед записью их в S3. Этот префикс отображается непосредственно после имени корзины. Сведения о том, как указать этот префикс, см. в Custom Prefixes for Amazon S3 Objects.

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизация входящих данных до указанного размера в MiB перед отправкой в пункт назначения. Значение по умолчанию равно 5. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется устанавливать этот параметр на значение, большее, чем объем данных, который вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 MiB/сек, значение должно быть 10 MiB или больше.

IntervalInSeconds -> (целое число)

Буферизация входящих данных на указанный период времени в секундах перед отправкой в пункт назначения. Значение по умолчанию равно 300. Этот параметр необязателен, но если вы укажете его значение, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройки шифрования. Если значение не указано, по умолчанию шифрование не используется.

NoEncryptionConfig -> (строка)

Явно переопределяет существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Amazon Resource Name (ARN) ключа шифрования. Должен принадлежать той же области Amazon Web Services, что и целевая корзина Amazon S3. Для получения дополнительной информации см. Amazon Resource Names (ARN) и Amazon Web Services Service Namespaces.

CloudWatchLoggingOptions -> (структура)

Настройки регистрации Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево)

Включает или выключает регистрация CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для регистрации. Это значение необходимо, если включена регистрация CloudWatch.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для регистрации. Это значение необходимо, если включена регистрация CloudWatch.

ProcessingConfiguration -> (структура)

Настройки обработки данных.

Enabled -> (булево)

Включает или выключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Если вы хотите добавить разделитель новой строки между записями в объектах, которые доставляются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, если вы выбрали AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. Значение BufferSizeInMBs находится в диапазоне от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

CloudWatchLoggingOptions -> (структура)

Настройки регистрации Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево)

Включает или выключает регистрация CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для регистрации. Это значение необходимо, если включена регистрация CloudWatch.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для регистрации. Это значение необходимо, если включена регистрация CloudWatch.

BufferingHints -> (структура)

Параметры буферизации. Если значение не указано, используются значения по умолчанию для Splunk.

IntervalInSeconds -> (целое число)

Буферизация входящих данных на указанный период времени в секундах перед отправкой в пункт назначения. Значение по умолчанию равно 60 (1 минута).

SizeInMBs -> (целое число)

Буферизация входящих данных до указанного размера в МБ перед отправкой в пункт назначения. Значение по умолчанию равно 5.

SecretsManagerConfiguration -> (структура)

Настройки для доступа к секретам для Splunk.

SecretARN -> (строка)

ARN секрета, хранящего ваши учетные данные. Он должен находиться в той же области, что и поток Firehose и роль. ARN секрета может находиться в другом аккаунте, чем поток Firehose и роль, поскольку Firehose поддерживает межаккаунтовый доступ к секретам. Этот параметр требуется, когда Enabled установлен в значение True.

RoleARN -> (строка)

Указывает роль, которую Firehose принимает при вызове операции Secrets Manager API. При указании роли она переопределяет любые специфичные для пункта назначения роли, определённые в конфигурации пункта назначения. Если роль не указана, используется роль, специфичная для пункта назначения. Этот параметр требуется для Splunk.

Enabled -> (булево)

Указывает, хотите ли вы использовать функцию секретов менеджера. При установке в значение True конфигурация секретов менеджера переопределяет существующие секреты в конфигурации пункта назначения. При установке в значение False Firehose возвращается к учетным данным в конфигурации пункта назначения.

HttpEndpointDestinationDescription -> (структура)

Описывает указанный HTTP-пункт назначения.

EndpointConfiguration -> (структура)

Настройка указанного HTTP-пункта назначения.

Url -> (строка)

URL HTTP-пункта, выбранного в качестве пункта назначения.

Name -> (строка)

Имя HTTP-пункта, выбранного в качестве пункта назначения.

BufferingHints -> (структура)

Описывает параметры буферизации, которые могут быть применены к данным перед их доставкой в HTTP-пункт назначения. Firehose рассматривает эти параметры как подсказки и может выбрать более оптимальные значения. Параметры SizeInMBs и IntervalInSeconds являются необязательными. Однако, если вы укажете значение для одного из них, вы должны также указать значение для другого.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед доставкой их в пункт назначения. Значение по умолчанию равно 5.

Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, которые обычно поступают в поток Firehose за 10 секунд. Например, если вы обычно получаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные на указанный период времени в секундах перед доставкой их в пункт назначения. Значение по умолчанию равно 300 (5 минут).

CloudWatchLoggingOptions -> (структура)

Описывает параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение требуется, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение требуется, если ведение журнала CloudWatch включено.

RequestConfiguration -> (структура)

Настройка запроса, отправляемого в HTTP-пункт назначения.

ContentEncoding -> (строка)

Firehose использует кодировку содержимого для сжатия тела запроса перед отправкой запроса в пункт назначения. Дополнительную информацию см. в разделе Content-Encoding в MDN Web Docs, официальной документации Mozilla.

CommonAttributes -> (список)

Описывает метаданные, отправляемые в HTTP-пункт назначения.

(структура)

Описывает метаданные, которые передаются в указанный HTTP-пункт назначения.

AttributeName -> (строка)

Имя общего атрибута HTTP-пункта.

AttributeValue -> (строка)

Значение общего атрибута HTTP-пункта.

ProcessingConfiguration -> (структура)

Описывает конфигурацию обработки данных.

Enabled -> (булево)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описывает обработчик данных.

Примечание

Если вы хотите добавить новую строку разделителя между записями в объектах, которые передаются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр обработчика, когда вы выбираете AppendDelimiterToRecord .

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описывает параметр обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds . Значение BufferSizeInMBs находится в диапазоне от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, за исключением Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

RoleARN -> (строка)

Firehose использует эту роль IAM для всех разрешений, необходимых для потока доставки.

RetryOptions -> (структура)

Описывает поведение повторных попыток в случае, если Firehose не может доставить данные в указанный HTTP-пункт назначения или не получает действительного подтверждения получения от указанного HTTP-пункта назначения.

DurationInSeconds -> (целое число)

Общее время, которое Firehose тратит на повторные попытки. Этот период начинается после первоначальной попытки отправки данных в пользовательский пункт назначения через HTTPS-пункт, которая завершилась неудачей. Он не включает периоды, в течение которых Firehose ожидает подтверждения от указанного пункта назначения после каждой попытки.

S3BackupMode -> (строка)

Описывает параметры резервного копирования ведра S3 для данных, которые Kinesis Firehose передает в HTTP-пункт назначения. Вы можете резервное копирование всех документов (AllData ) или только тех документов, которые Firehose не смог доставить в указанный HTTP-пункт назначения (FailedDataOnly ).

S3DestinationDescription -> (структура)

Описывает пункт назначения в Amazon S3.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) учетных данных Amazon Web Services. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services .

BucketARN -> (строка)

ARN ведра S3. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services .

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для файлов Amazon S3, которые были переданы. Вы также можете указать пользовательский префикс, как описано в разделе Пользовательские префиксы для объектов Amazon S3 .

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к неверным записям перед записью их в S3. Этот префикс появляется непосредственно после имени ведра. Сведения о том, как указать этот префикс, см. в разделе Пользовательские префиксы для объектов Amazon S3 .

BufferingHints -> (структура)

Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints .

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ перед доставкой их в пункт назначения. Значение по умолчанию равно 5. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds , и наоборот.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные на указанный период времени в секундах перед доставкой их в пункт назначения. Значение по умолчанию равно 300. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для SizeInMBs , и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED .

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, по умолчанию шифрование отключено.

NoEncryptionConfig -> (строка)

Явно переопределить существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon (ARN) ключа шифрования. Должен принадлежать к тому же региону Amazon Web Services, что и целевое ведро Amazon S3. Дополнительную информацию см. в разделе Имена ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services .

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (булево)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение требуется, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение требуется, если ведение журнала CloudWatch включено.

SecretsManagerConfiguration -> (структура)

Настройка, которая определяет, как вы получаете доступ к секретам для HTTP Endpoint-пункта назначения.

SecretARN -> (строка)

ARN секрета, хранящего ваши учетные данные. Он должен находиться в том же регионе, что и поток Firehose и роль. ARN секрета может находиться в другом аккаунте, чем поток Firehose и роль, так как Firehose поддерживает доступ к секретам из других аккаунтов. Этот параметр требуется, когда Enabled установлен на True .

RoleARN -> (строка)

Указывает роль, которую Firehose принимает при вызове операции API Secrets Manager. Если вы предоставляете роль, она переопределяет любую роль, специфичную для пункта назначения, определенную в конфигурации пункта назначения. Если вы этого не сделаете, мы будем использовать роль, специфичную для пункта назначения. Этот параметр требуется для Splunk.

Enabled -> (булево)

Указывает, хотите ли вы использовать функцию менеджера секретов. Если установлено значение True , конфигурация менеджера секретов переписывает существующие секреты в конфигурации пункта назначения. Если значение равно False , Firehose использует учетные данные из конфигурации пункта назначения.

SnowflakeDestinationDescription -> (структура)

Дополнительное описание для пункта назначения

AccountUrl -> (строка)

URL для доступа к вашему аккаунту Snowflake. Этот URL должен содержать идентификатор вашего аккаунта. Обратите внимание, что протокол (https://) и номер порта необязательны.

User -> (строка)

Имя пользователя для входа в аккаунт Snowflake.

Database -> (строка)

Все данные в Snowflake хранятся в базах данных.

Schema -> (строка)

Каждая база данных состоит из одной или нескольких схем, которые представляют собой логические группы объектов базы данных, таких как таблицы и представления.

Table -> (строка)

Все данные в Snowflake хранятся в таблицах базы данных, логически структурированных как коллекции столбцов и строк.

SnowflakeRoleConfiguration -> (структура)

Необязательная настройка роли Snowflake. В противном случае будет использоваться роль пользователя по умолчанию.

Enabled -> (булево)

Включить роль Snowflake

SnowflakeRole -> (строка)

Роль Snowflake, которую вы хотите настроить

DataLoadingOption -> (строка)

Выберите загрузку ключей JSON, сопоставленных с именами столбцов таблицы, или разделите JSON-поток, где содержимое сопоставлено столбцу содержимого записи, а метаданные источника сопоставлены столбцу метаданных записи.

MetaDataColumnName -> (строка)

Имя столбца метаданных записи

ContentColumnName -> (строка)

Имя столбца содержимого записи

SnowflakeVpcConfiguration -> (структура)

Идентификатор VPCE для Firehose, чтобы обеспечить частное подключение к Snowflake. Формат идентификатора: com.amazonaws.vpce.[область].vpce-svc-<[id]>. Для получения дополнительной информации см. Amazon PrivateLink & Snowflake

PrivateLinkVpceId -> (строка)

CloudWatchLoggingOptions -> (структура)

Описывает параметры ведения журналов Amazon CloudWatch для потока Firehose.

Enabled -> (булево)

Включает или отключает ведение журналов CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журналов. Это значение требуется, если включено ведение журналов CloudWatch.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журналов. Это значение требуется, если включено ведение журналов CloudWatch.

ProcessingConfiguration -> (структура)

Описывает конфигурацию обработки данных.

Enabled -> (булево)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описывает обработчик данных.

Примечание

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описывает параметр обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds . BufferSizeInMBs изменяется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) роли Snowflake

RetryOptions -> (структура)

Период времени, в течение которого Firehose будет повторно отправлять данные на выбранный HTTP-пункт назначения.

DurationInSeconds -> (целое число)

Период времени, в течение которого Firehose будет повторно отправлять данные на выбранный HTTP-пункт назначения.

S3BackupMode -> (строка)

Выберите режим резервного копирования S3

S3DestinationDescription -> (структура)

Описание пункта назначения в Amazon S3.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) учетных данных Amazon Web Services. Для получения дополнительной информации см. Amazon Resource Names (ARN) и пространства имен служб Amazon Web Services.

BucketARN -> (строка)

ARN корзины S3. Для получения дополнительной информации см. Amazon Resource Names (ARN) и пространства имен служб Amazon Web Services.

Prefix -> (строка)

Префикс формата времени «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для файлов Amazon S3, которые передаются. Вы также можете указать собственный префикс, как описано в разделе Настраиваемые префиксы для объектов Amazon S3.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose вычисляет и добавляет к записям с ошибками перед записью их в S3. Этот префикс появляется сразу после имени корзины. Сведения о том, как указать этот префикс, см. в разделе Настраиваемые префиксы для объектов Amazon S3.

BufferingHints -> (структура)

Опция буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизуйте входящие данные до указанного размера в МБ перед передачей их в пункт назначения. Значение по умолчанию составляет 5. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется устанавливать этот параметр на значение, большее, чем количество данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно составлять 10 МБ или более.

IntervalInSeconds -> (целое число)

Буферизуйте входящие данные на указанный период времени в секундах перед передачей их в пункт назначения. Значение по умолчанию составляет 300. Этот параметр является необязательным, но если вы указываете значение для него, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, по умолчанию используется UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Конфигурация шифрования. Если значение не указано, используется шифрование по умолчанию.

NoEncryptionConfig -> (строка)

Конкретно переопределяет существующую информацию о шифровании, чтобы гарантировать отсутствие шифрования.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon (ARN) ключа шифрования. Должен принадлежать той же области Amazon Web Services, что и конечная корзина Amazon S3. Для получения дополнительной информации см. Amazon Resource Names (ARN) и пространства имен служб Amazon Web Services.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журналов Amazon CloudWatch для потока Firehose.

Enabled -> (булево)

Включает или отключает ведение журналов CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журналов. Это значение требуется, если включено ведение журналов CloudWatch.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журналов. Это значение требуется, если включено ведение журналов CloudWatch.

SecretsManagerConfiguration -> (структура)

Конфигурация, определяющая, как получить секреты для Snowflake.

SecretARN -> (строка)

ARN секрета, хранящего ваши учетные данные. Он должен находиться в той же области, что и поток Firehose и роль. ARN секрета может находиться в другом аккаунте, отличном от аккаунта потока Firehose и роли, поскольку Firehose поддерживает межаккаунтовый доступ к секретам. Этот параметр требуется, когда Enabled установлен на True.

RoleARN -> (строка)

Указывает роль, которую Firehose принимает, когда выполняется операция API Secrets Manager. Когда вы предоставляете роль, она переопределяет любую роль, специфичную для пункта назначения, определённую в конфигурации пункта назначения. Если вы не предоставляете роль, мы используем роль, специфичную для пункта назначения. Этот параметр требуется для Splunk.

Enabled -> (булево)

Указывает, хотите ли вы использовать функцию менеджера секретов. Когда установлено значение True, конфигурация менеджера секретов перезаписывает существующие секреты в конфигурации пункта назначения. Когда значение установлено на False, Firehose возвращается к учетным данным в конфигурации пункта назначения.

BufferingHints -> (структура)

Описание буферизации перед передачей данных в пункт назначения Snowflake. Если вы не указываете никаких значений, Firehose использует значения по умолчанию.

SizeInMBs -> (целое число)

Буферизуйте входящие данные до указанного размера в МБ перед передачей их в пункт назначения. Значение по умолчанию составляет 128.

IntervalInSeconds -> (целое число)

Буферизуйте входящие данные на указанный период времени в секундах перед передачей их в пункт назначения. Значение по умолчанию составляет 0.

AmazonOpenSearchServerlessDestinationDescription -> (структура)

Пункт назначения в предложении Serverless для Amazon OpenSearch Service.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) учетных данных Amazon Web Services.

CollectionEndpoint -> (строка)

Точка доступа для взаимодействия с коллекцией в предложении Serverless для Amazon OpenSearch Service.

IndexName -> (строка)

Имя индекса предложения Serverless для Amazon OpenSearch Service.

BufferingHints -> (структура)

Параметры буферизации.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах, прежде чем передавать их в пункт назначения. Значение по умолчанию составляет 300 (5 минут).

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МБ, прежде чем передавать их в пункт назначения. Значение по умолчанию составляет 5.

Рекомендуется установить это значение на величину, превышающую объем данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.

RetryOptions -> (структура)

Параметры повторных попыток предложения Serverless для Amazon OpenSearch Service.

DurationInSeconds -> (целое число)

После первоначальной неудачи при передаче в предложение Serverless для Amazon OpenSearch Service, общее время, в течение которого Firehose пытается выполнить передачу (включая первую попытку). По истечении этого времени необработанные документы записываются в Amazon S3. Значение по умолчанию составляет 300 секунд (5 минут). Значение 0 (ноль) означает отсутствие повторных попыток.

S3BackupMode -> (строка)

Режим резервного копирования Amazon S3.

S3DestinationDescription -> (структура)

Описание пункта назначения в Amazon S3.

RoleARN -> (строка)

Идентификатор ресурса Amazon (ARN) учетных данных Amazon Web Services. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

BucketARN -> (строка)

Prefix -> (строка)

Префикс в формате «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для файлов Amazon S3, которые передаются. Вы также можете указать пользовательский префикс, как описано в разделе Пользовательские префиксы для объектов Amazon S3.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к необработанным записям перед записью их в S3. Этот префикс находится сразу после имени корзины. Дополнительную информацию о том, как указать этот префикс, см. в разделе Пользовательские префиксы для объектов Amazon S3.

BufferingHints -> (структура)

Параметр буферизации. Если значение не указано, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

Буферизовать входящие данные до указанного размера в МиБ, прежде чем передавать их в пункт назначения. Значение по умолчанию составляет 5. Этот параметр является необязательным, но если вы укажете его значение, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется установить это значение на величину, превышающую объем данных, которые вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МиБ/с, значение должно быть 10 МиБ или выше.

IntervalInSeconds -> (целое число)

Буферизовать входящие данные в течение указанного периода времени в секундах, прежде чем передавать их в пункт назначения. Значение по умолчанию составляет 300. Этот параметр является необязательным, но если вы укажете его значение, вы также должны указать значение для SizeInMBs, и наоборот.

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Настройка шифрования. Если значение не указано, используется значение по умолчанию — без шифрования.

NoEncryptionConfig -> (строка)

Явно переопределить существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Идентификатор ресурса Amazon (ARN) ключа шифрования. Должен принадлежать тому же региону Amazon Web Services, что и целевая корзина Amazon S3. Дополнительную информацию см. в разделе Идентификаторы ресурсов Amazon (ARN) и пространства имен служб Amazon Web Services.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Описание конфигурации обработки данных.

Enabled -> (логическое значение)

Включает или отключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра обработчика.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. Диапазон BufferSizeInMBs составляет от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

CloudWatchLoggingOptions -> (структура)

Описание параметров ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или отключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение обязательно, если ведение журнала CloudWatch включено.

VpcConfigurationDescription -> (структура)

Детали VPC пункта назначения Amazon OpenSearch Service.

SubnetIds -> (список)

Идентификаторы подсетей, которые Firehose использует для создания сетевых интерфейсов в VPC пункта назначения Amazon OpenSearch Service. Убедитесь, что таблицы маршрутизации и правила входного и выходного трафика позволяют трафику проходить из подсетей, идентификаторы которых указаны здесь, в подсети с точками доступа пункта назначения Amazon OpenSearch Service. Firehose создает по крайней мере один сетевой интерфейс в каждой из указанных здесь подсетей. Не удаляйте и не изменяйте эти сетевые интерфейсы.

Количество сетевых интерфейсов, которые Firehose создает в указанных здесь подсетях, масштабируется автоматически в зависимости от пропускной способности. Чтобы позволить Firehose увеличивать количество сетевых интерфейсов для соответствия пропускной способности, убедитесь, что у вас достаточно квоты. Чтобы помочь вам рассчитать необходимую квоту, предположите, что Firehose может создать до трех сетевых интерфейсов для этого потока Firehose для каждой из указанных здесь подсетей. Дополнительную информацию о квоте на сетевые интерфейсы см. в разделе Сети интерфейсов в разделе Квоты Amazon VPC.

(строка)

RoleARN -> (строка)

ARN роли IAM, которую поток Firehose использует для создания точек доступа в целевой VPC. Вы можете использовать существующую роль Firehose или указать новую роль. В любом случае убедитесь, что роль доверяет принципалу службы Firehose и предоставляет следующие разрешения:

ec2:DescribeVpcs
ec2:DescribeVpcAttribute
ec2:DescribeSubnets
ec2:DescribeSecurityGroups
ec2:DescribeNetworkInterfaces
ec2:CreateNetworkInterface
ec2:CreateNetworkInterfacePermission
ec2:DeleteNetworkInterface

Если вы отозвете эти разрешения после создания потока Firehose, Firehose не сможет масштабировать количество сетевых интерфейсов при необходимости. В результате вы можете наблюдать ухудшение производительности.

SecurityGroupIds -> (список)

Идентификаторы групп безопасности, которые Firehose использует при создании сетевых интерфейсов в VPC пункта назначения Amazon OpenSearch Service. Вы можете использовать ту же группу безопасности, что и у домена Amazon ES, или другие. Если вы укажете другие группы безопасности, убедитесь, что они разрешают выходной HTTPS-трафик в группу безопасности домена Amazon OpenSearch Service. Также убедитесь, что группа безопасности домена Amazon OpenSearch Service разрешает HTTPS-трафик от указанных здесь групп безопасности. Если вы используете ту же группу безопасности для своего потока Firehose и домена Amazon OpenSearch Service, убедитесь, что правило входного трафика группы безопасности разрешает HTTPS-трафик. Дополнительную информацию о правилах группы безопасности см. в документации Amazon VPC.

(строка)

VpcId -> (строка)

Идентификатор VPC целевого пункта назначения Amazon OpenSearch Service.

IcebergDestinationDescription -> (структура)

Описание назначения в таблицах Apache Iceberg.

DestinationTableConfigurationList -> (список)

Предоставляет список DestinationTableConfigurations, которые Firehose использует для доставки данных в таблицы Apache Iceberg. Firehose будет записывать данные с помощью вставки, если конфигурация, специфичная для таблицы, не указана здесь.

(структура)

Описание конфигурации назначения в таблицах Apache Iceberg.

DestinationTableName -> (строка)

Указывает имя таблицы Apache Iceberg.

DestinationDatabaseName -> (строка)

Имя базы данных Apache Iceberg.

UniqueKeys -> (список)

Список уникальных ключей для данной таблицы Apache Iceberg. Firehose будет использовать их для выполнения операций Create, Update или Delete в данной таблице Iceberg.

(строка)

PartitionSpec -> (структура)

Конфигурация разбиения по столбцам для таблицы, используемой для автоматического создания таблицы.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

Identity -> (список)

Список преобразований идентичности, выполняющих преобразование идентичности. Преобразование принимает исходное значение и не изменяет его. Тип результата — исходный тип.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

(структура)

Представляет один столбец в PartitionSpec.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

SourceName -> (строка)

Имя столбца, которое необходимо настроить в спецификации разбиения.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

S3ErrorOutputPrefix -> (строка)

Указатель ошибок S3, специфичный для таблицы. Все ошибки, возникшие при доставке в эту таблицу, будут иметь этот префикс в S3-назначении.

SchemaEvolutionConfiguration -> (структура)

Описание конфигурации автоматической эволюции схемы.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

Enabled -> (логическое значение)

Укажите, хотите ли вы включить эволюцию схемы.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

TableCreationConfiguration -> (структура)

Описание конфигурации создания таблицы.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

Enabled -> (логическое значение)

Укажите, хотите ли вы включить автоматическое создание таблиц.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

BufferingHints -> (структура)

Описывает подсказки для буферизации перед доставкой данных в пункт назначения. Эти параметры рассматриваются как подсказки, и поэтому Firehose может выбрать разные значения, когда это оптимально. Параметры SizeInMBs и IntervalInSeconds являются необязательными. Однако если вы зададите значение для одного из них, вы также должны указать значение для другого.

SizeInMBs -> (целое число)

Буферизуйте входящие данные до указанного размера в МБ перед доставкой в пункт назначения. Значение по умолчанию равно 5. Этот параметр является необязательным, но если вы укажете значение для него, вы также должны указать значение для IntervalInSeconds, и наоборот.

Рекомендуется установить этот параметр на значение, большее, чем количество данных, которое вы обычно загружаете в поток Firehose за 10 секунд. Например, если вы обычно загружаете данные со скоростью 1 МБ/с, значение должно быть 10 МБ или выше.

IntervalInSeconds -> (целое число)

Буферизуйте входящие данные в течение указанного периода времени в секундах перед доставкой в пункт назначения. Значение по умолчанию равно 300. Этот параметр является необязательным, но если вы укажете значение для него, вы также должны указать значение для SizeInMBs, и наоборот.

CloudWatchLoggingOptions -> (структура)

Описание параметров ведения журнала Amazon CloudWatch для потока Firehose.

Enabled -> (логическое значение)

Включает или выключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

ProcessingConfiguration -> (структура)

Описание конфигурации обработки данных.

Enabled -> (логическое значение)

Включает или выключает обработку данных.

Processors -> (список)

Обработчики данных.

(структура)

Описание обработчика данных.

Примечание

Если вы хотите добавить новый разделитель строки между записями в объектах, которые передаются в Amazon S3, выберите AppendDelimiterToRecord в качестве типа обработчика. Вам не нужно указывать параметр процессора, когда вы выбираете AppendDelimiterToRecord.

Type -> (строка)

Тип обработчика.

Parameters -> (список)

Параметры обработчика.

(структура)

Описание параметра процессора.

ParameterName -> (строка)

Имя параметра. В настоящее время поддерживаются следующие значения по умолчанию: 3 для NumberOfRetries и 60 для BufferIntervalInSeconds. Значение BufferSizeInMBs варьируется от 0,2 МБ до 3 МБ. Значение буферизации по умолчанию составляет 1 МБ для всех пунктов назначения, кроме Splunk. Для Splunk значение буферизации по умолчанию составляет 256 КБ.

ParameterValue -> (строка)

Значение параметра.

S3BackupMode -> (строка)

Описание того, как Firehose будет создавать резервные копии записей. В настоящее время Firehose поддерживает только FailedDataOnly.

RetryOptions -> (структура)

Поведение повторной попытки в случае, если Firehose не может доставить данные в пункт назначения.

DurationInSeconds -> (целое число)

Период времени, в течение которого Firehose пытается доставить данные в указанный пункт назначения.

RoleARN -> (строка)

Идентификатор Amazon Resource Name (ARN) роли IAM, которую Firehose будет использовать для вызова таблиц Apache Iceberg.

AppendOnly -> (логическое значение)

Описывает, будут ли все входящие данные для этого потока доставки только добавляться (только вставки, а не обновления и удаления) для доставки Iceberg. Эта функция применима только к таблицам Apache Iceberg.

Значение по умолчанию — false. Если вы установите это значение в true, Firehose автоматически увеличит предел пропускной способности потока на основе уровней ограничения потока. Если вы установите этот параметр в true для потока с обновлениями и удалениями, вы увидите доставку в неправильном порядке.

CatalogConfiguration -> (структура)

Конфигурация, описывающая, где сохраняются целевые таблицы Iceberg.

CatalogARN -> (строка)

Указывает идентификатор ARN каталога Glue для целевых таблиц Apache Iceberg. Вы должны указать ARN в формате arn:aws:glue:region:account-id:catalog.

WarehouseLocation -> (строка)

Расположение хранилища для таблиц Apache Iceberg. Вы должны настроить это, когда включена эволюция схемы и создание таблиц.

Amazon Data Firehose находится в предварительной версии и может быть изменён.

S3DestinationDescription -> (структура)

Описание назначения в Amazon S3.

RoleARN -> (строка)

Amazon Resource Name (ARN) Amazon Web Services учетных данных. Дополнительная информация см. в Amazon Resource Names (ARNs) и Amazon Web Services Service Namespaces.

BucketARN -> (строка)

ARN корзины S3. Дополнительная информация см. в Amazon Resource Names (ARNs) и Amazon Web Services Service Namespaces.

Prefix -> (строка)

Префикс формата времени «ГГГГ/ММ/ДД/ЧЧ» автоматически используется для файлов Amazon S3, которые были доставлены. Вы также можете указать пользовательский префикс, как описано в User-defined prefixes for Amazon S3 objects.

ErrorOutputPrefix -> (строка)

Префикс, который Firehose оценивает и добавляет к проблемным записям перед их записью в S3. Этот префикс появляется сразу после имени корзины. Дополнительная информация о том, как указать этот префикс, см. в User-defined prefixes for Amazon S3 objects.

BufferingHints -> (структура)

Параметр буферизации. Если не указано значение, используются значения по умолчанию для объекта BufferingHints.

SizeInMBs -> (целое число)

IntervalInSeconds -> (целое число)

CompressionFormat -> (строка)

Формат сжатия. Если значение не указано, используется значение по умолчанию UNCOMPRESSED.

EncryptionConfiguration -> (структура)

Конфигурация шифрования. Если значение не указано, шифрование не используется.

NoEncryptionConfig -> (строка)

Явно переопределите существующую информацию о шифровании, чтобы убедиться, что шифрование не используется.

KMSEncryptionConfig -> (структура)

Ключ шифрования.

AWSKMSKeyARN -> (строка)

Amazon Resource Name (ARN) ключа шифрования. Должен принадлежать тому же региону Amazon Web Services, что и целевая корзина Amazon S3. Дополнительная информация см. в Amazon Resource Names (ARNs) и Amazon Web Services Service Namespaces.

CloudWatchLoggingOptions -> (структура)

Параметры ведения журнала Amazon CloudWatch для вашего потока Firehose.

Enabled -> (логическое значение)

Включает или выключает ведение журнала CloudWatch.

LogGroupName -> (строка)

Имя группы CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

LogStreamName -> (строка)

Имя потока журнала CloudWatch для ведения журнала. Это значение необходимо, если ведение журнала CloudWatch включено.

HasMoreDestinations -> (логическое значение)

Указывает, доступны ли для перечисления дополнительные назначения.