Spec-Zone.ru › AWS CLI v2

[ aws . databrew ]

создать-набор-данных

Описание

Создает новый набор данных DataBrew.

См. также: Документацию API AWS

Синтаксис

  create-dataset
--name <value>
[--format <value>]
[--format-options <value>]
--input <value>
[--path-options <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--name (строка)

Имя создаваемого набора данных. Допустимые символы: буквенно-цифровые (A-Z, a-z, 0-9), дефис (-), точка (.) и пробел.

--format (строка)

Формат файла набора данных, созданного из файла или папки Amazon S3.

Возможные значения:

  • CSV
  • JSON
  • PARQUET
  • EXCEL
  • ORC

--format-options (структура)

Представляет набор параметров, определяющих структуру входных данных в формате CSV, Excel или JSON.

Json -> (структура)

Параметры, определяющие, как DataBrew интерпретирует входные данные JSON.

MultiLine -> (логическое значение)

Указывает, содержит ли входной JSON вложенные символы новой строки.

Excel -> (структура)

Параметры, определяющие, как DataBrew интерпретирует входные данные Excel.

SheetNames -> (список)

Одно или несколько именованных листов Excel-файла, которые будут включены в набор данных.

(строка)

SheetIndexes -> (список)

Один или несколько номеров листов в Excel-файле, которые будут включены в набор данных.

(целое число)

HeaderRow -> (логическое значение)

Указывает, является ли первая строка файла заголовком. Если ложно, имена столбцов генерируются автоматически.

Csv -> (структура)

Параметры, определяющие, как DataBrew интерпретирует входные данные CSV.

Delimiter -> (строка)

Символ-разделитель в CSV-файле.

HeaderRow -> (логическое значение)

Указывает, является ли первая строка файла заголовком. Если ложно, имена столбцов генерируются автоматически.

Сокращенный синтаксис:

Json={MultiLine=boolean},Excel={SheetNames=[string,string],SheetIndexes=[integer,integer],HeaderRow=boolean},Csv={Delimiter=string,HeaderRow=boolean}

Синтаксис JSON:

{
  "Json": {
    "MultiLine": true|false
  },
  "Excel": {
    "SheetNames": ["string", ...],
    "SheetIndexes": [integer, ...],
    "HeaderRow": true|false
  },
  "Csv": {
    "Delimiter": "string",
    "HeaderRow": true|false
  }
}

--input (структура)

Представляет информацию о том, как DataBrew находит данные в каталоге Glue или Amazon S3.

S3InputDefinition -> (структура)

Расположение данных в Amazon S3.

Bucket -> (строка)

Имя ведра Amazon S3.

Key -> (строка)

Уникальное имя объекта в ведре.

BucketOwner -> (строка)

Идентификатор учетной записи AWS владельца ведра.

DataCatalogInputDefinition -> (структура)

Параметры каталога данных Glue для данных.

CatalogId -> (строка)

Уникальный идентификатор учетной записи AWS, владеющей каталогом данных, содержащим данные.

DatabaseName -> (строка)

Имя базы данных в каталоге данных.

TableName -> (строка)

Имя таблицы базы данных в каталоге данных. Эта таблица соответствует набору данных DataBrew.

TempDirectory -> (структура)

Представляет местоположение Amazon, где DataBrew может хранить промежуточные результаты.

Bucket -> (строка)

Имя ведра Amazon S3.

Key -> (строка)

Уникальное имя объекта в ведре.

BucketOwner -> (строка)

Идентификатор учетной записи AWS владельца ведра.

DatabaseInputDefinition -> (структура)

Информация о подключении к файлам входных данных набора данных, хранящихся в базе данных.

GlueConnectionName -> (строка)

Имя подключения Glue, хранящее информацию о подключении к целевой базе данных.

DatabaseTableName -> (строка)

Таблица в целевой базе данных.

TempDirectory -> (структура)

Представляет местоположение Amazon S3 (имя ведра, владелец ведра и ключ объекта), где DataBrew может читать входные данные или записывать выходные данные из задания.

Bucket -> (строка)

Имя ведра Amazon S3.

Key -> (строка)

Уникальное имя объекта в ведре.

BucketOwner -> (строка)

Идентификатор учетной записи AWS владельца ведра.

QueryString -> (строка)

Пользовательский SQL-запрос, выполняемый с помощью предоставленного соединения Glue. Этот SQL используется в качестве входных данных для проектов и заданий DataBrew.

Metadata -> (структура)

Содержит дополнительную информацию о ресурсе, необходимую для конкретных наборов данных.

SourceArn -> (строка)

Amazon Resource Name (ARN), связанный с набором данных. В настоящее время DataBrew поддерживает только ARN из Amazon AppFlow.

Сокращенный синтаксис:

S3InputDefinition={Bucket=string,Key=string,BucketOwner=string},DataCatalogInputDefinition={CatalogId=string,DatabaseName=string,TableName=string,TempDirectory={Bucket=string,Key=string,BucketOwner=string}},DatabaseInputDefinition={GlueConnectionName=string,DatabaseTableName=string,TempDirectory={Bucket=string,Key=string,BucketOwner=string},QueryString=string},Metadata={SourceArn=string}

Синтаксис JSON:

{
  "S3InputDefinition": {
    "Bucket": "string",
    "Key": "string",
    "BucketOwner": "string"
  },
  "DataCatalogInputDefinition": {
    "CatalogId": "string",
    "DatabaseName": "string",
    "TableName": "string",
    "TempDirectory": {
      "Bucket": "string",
      "Key": "string",
      "BucketOwner": "string"
    }
  },
  "DatabaseInputDefinition": {
    "GlueConnectionName": "string",
    "DatabaseTableName": "string",
    "TempDirectory": {
      "Bucket": "string",
      "Key": "string",
      "BucketOwner": "string"
    },
    "QueryString": "string"
  },
  "Metadata": {
    "SourceArn": "string"
  }
}

--path-options (структура)

Набор параметров, определяющих, как DataBrew интерпретирует путь Amazon S3 набора данных.

LastModifiedDateCondition -> (структура)

Если задан, эта структура определяет диапазон дат для сопоставления объектов Amazon S3 на основе атрибута LastModifiedDate в Amazon S3.

Expression -> (строка)

Выражение, содержащее имена условий, за которыми следуют переменные подстановки, возможно, сгруппированные и объединённые с другими условиями. Например, «(starts_with :prefix1 или starts_with :prefix2) и (ends_with :suffix1 или ends_with :suffix2) ». Переменные подстановки должны начинаться со знака «:».

ValuesMap -> (карта)

Карта имён переменных подстановки и их значений, используемых в этом выражении фильтра.

ключ -> (строка)

значение -> (строка)

FilesLimit -> (структура)

Если задан, эта структура накладывает ограничение на количество файлов, которые должны быть выбраны.

MaxFiles -> (целое число)

Количество файлов Amazon S3 для выбора.

OrderedBy -> (строка)

Критерий для сортировки файлов Amazon S3 перед их выбором. По умолчанию используется LAST_MODIFIED_DATE в качестве критерия сортировки. В настоящее время это единственное допустимое значение.

Order -> (строка)

Критерий для сортировки файлов Amazon S3 перед их выбором. По умолчанию используется DESCENDING порядок, т. е. сначала выбираются самые свежие файлы. Другое возможное значение — ASCENDING.

Parameters -> (карта)

Структура, отображающая имена параметров, используемых в пути Amazon S3 набора данных, и их определения.

ключ -> (строка)

значение -> (структура)

Представляет параметр набора данных, определяющий тип и условия для параметра в пути Amazon S3 набора данных.

Name -> (строка)

Имя параметра, используемого в пути Amazon S3 набора данных.

Type -> (строка)

Тип параметра набора данных, может быть «строка», «число» или «дата».

DatetimeOptions -> (структура)

Дополнительные параметры параметров, такие как формат и часовой пояс. Требуется для параметров типа дата.

Format -> (строка)

Обязательный параметр, определяющий формат даты, используемый для параметра даты в пути Amazon S3. Следует использовать только поддерживаемые спецификаторы даты и символы разделения, все буквенные символы a-z или A-Z должны быть экранированы одинарной кавычкой. Например, "MM.dd.yyyy-‘at’-HH:mm".

TimezoneOffset -> (строка)

Необязательное значение для смещения часового пояса значения параметра даты в пути Amazon S3. Не следует использовать, если формат этого параметра включает поля часового пояса. Если смещение не указано, предполагается UTC.

LocaleCode -> (строка)

Необязательное значение для кода региона, отличного от США, необходимое для правильной интерпретации некоторых форматов дат.

CreateColumn -> (логическое значение)

Необязательное логическое значение, определяющее, следует ли использовать полученное значение этого параметра для создания нового столбца в наборе данных.

Filter -> (структура)

Необязательная структура выражения фильтра для применения дополнительных критериев соответствия к параметру.

Expression -> (строка)

Выражение, содержащее имена условий, за которыми следуют переменные подстановки, возможно, сгруппированные и объединённые с другими условиями. Например, «(starts_with :prefix1 или starts_with :prefix2) и (ends_with :suffix1 или ends_with :suffix2) ». Переменные подстановки должны начинаться со знака «:».

ValuesMap -> (карта)

Карта имён переменных подстановки и их значений, используемых в этом выражении фильтра.

ключ -> (строка)

значение -> (строка)

Сокращенный синтаксис:

LastModifiedDateCondition={Expression=string,ValuesMap={KeyName1=string,KeyName2=string}},FilesLimit={MaxFiles=integer,OrderedBy=string,Order=string},Parameters={KeyName1={Name=string,Type=string,DatetimeOptions={Format=string,TimezoneOffset=string,LocaleCode=string},CreateColumn=boolean,Filter={Expression=string,ValuesMap={KeyName1=string,KeyName2=string}}},KeyName2={Name=string,Type=string,DatetimeOptions={Format=string,TimezoneOffset=string,LocaleCode=string},CreateColumn=boolean,Filter={Expression=string,ValuesMap={KeyName1=string,KeyName2=string}}}}

Синтаксис JSON:

{
  "LastModifiedDateCondition": {
    "Expression": "string",
    "ValuesMap": {"string": "string"
      ...}
  },
  "FilesLimit": {
    "MaxFiles": integer,
    "OrderedBy": "LAST_MODIFIED_DATE",
    "Order": "DESCENDING"|"ASCENDING"
  },
  "Parameters": {"string": {
        "Name": "string",
        "Type": "Datetime"|"Number"|"String",
        "DatetimeOptions": {
          "Format": "string",
          "TimezoneOffset": "string",
          "LocaleCode": "string"
        },
        "CreateColumn": true|false,
        "Filter": {
          "Expression": "string",
          "ValuesMap": {"string": "string"
            ...}
        }
      }
    ...}
}

--tags (карта)

Метки метаданных, которые необходимо применить к этому набору данных.

ключ -> (строка)

значение -> (строка)

Сокращенный синтаксис:

KeyName1=string,KeyName2=string

Синтаксис JSON:

{"string": "string"
  ...}

--cli-input-json | --cli-input-yaml (строка) Читает аргументы из предоставленной строки JSON. Строка JSON соответствует формату, предоставленному в --generate-cli-skeleton. Если другие аргументы предоставлены в командной строке, эти значения перекроют значения, предоставленные в JSON. Невозможно передавать произвольные двоичные значения с помощью предоставленного значения JSON, так как строка будет взята дословно. Это может не быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит скелет JSON в стандартный вывод без отправки запроса к API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, будет выведен пример входного YAML, который можно использовать с --cli-input-yaml. Если предоставлено значение output, оно проверит входные данные команды и вернёт пример выходного JSON для этой команды. Сгенерированный скелет JSON не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном скелете JSON.

Общие параметры

--debug (boolean)

Включить отладку.

--endpoint-url (string)

Переопределить адрес по умолчанию команды заданным адресом.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI проверяет SSL-сертификаты. Этот параметр переопределяет поведение проверки SSL-сертификатов по умолчанию.

--no-paginate (boolean)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (string)

Стиль форматирования вывода команды.

  • json
  • text
  • table
  • yaml
  • yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определённый профиль из файла учетных данных.

--region (string)

Используемая область. Переопределяет настройки конфигурации/среды.

--version (string)

Отобразить версию этого инструмента.

--color (string)

Включить/выключить цветной вывод.

  • on
  • off
  • auto

--no-sign-request (boolean)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент предоставлен.

--ca-bundle (string)

Файл сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения к сокету в секундах. Если значение равно 0, подключение к сокету будет блокирующим и не будет иметь таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (string)

Стиль форматирования, используемый для двоичных блоков. По умолчанию формат — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны быть переданы буквально. При предоставлении содержимого из файла, которое отображается в двоичный блок fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла непосредственно независимо от настройки cli-binary-format. При использовании file:// содержимое файла необходимо правильно отформатировать для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (boolean)

Отключить кли-педжер для вывода.

--cli-auto-prompt (boolean)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматический запрос параметров ввода CLI.

Вывод

Имя -> (строка)

Имя набора данных, который вы создали.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API