Spec-Zone.ru › AWS CLI v2

[ aws . fsx ]

create-data-repository-task

Описание

Создает задачу репозитория данных Amazon FSx для Lustre. Операция CreateDataRepositoryTask завершится ошибкой, если репозиторий данных не связан с файловой системой FSx.

Вы используете задачи импорта и экспорта репозитория данных для выполнения массовых операций между вашей файловой системой FSx для Lustre и связанными с ней репозиториями данных. Примером задачи репозитория данных является экспорт любых изменений данных и метаданных, включая метаданные POSIX, в файлы, каталоги и символические ссылки (symlinks) из вашей файловой системы FSx в связанный репозиторий данных.

Вы используете задачи освобождения репозитория данных для освобождения данных из вашей файловой системы для файлов, которые экспортированы в S3. Метаданные освобожденных файлов остаются в файловой системе, поэтому пользователи или приложения по-прежнему могут получить доступ к освобожденным файлам, повторно прочитав файлы, что восстановит данные из Amazon S3 в файловую систему FSx для Lustre.

Дополнительную информацию о задачах репозитория данных см. в разделе Задачи репозитория данных. Дополнительную информацию о подключении репозитория данных к вашей файловой системе см. в разделе Подключение вашей файловой системы к ведру S3.

См. также: Документация API AWS

Синтаксис

  create-data-repository-task
--type <value>
[--paths <value>]
--file-system-id <value>
--report <value>
[--client-request-token <value>]
[--tags <value>]
[--capacity-to-release <value>]
[--release-configuration <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--type (строка)

Указывает тип задачи репозитория данных, который нужно создать.

  • EXPORT_TO_REPOSITORY задачи выполняют экспорт из вашей файловой системы Amazon FSx для Lustre в связанный репозиторий данных.
  • IMPORT_METADATA_FROM_REPOSITORY задачи импортируют изменения метаданных из связанного ведра S3 в вашу файловую систему Amazon FSx для Lustre.
  • RELEASE_DATA_FROM_FILESYSTEM задачи освобождают файлы в вашей файловой системе Amazon FSx для Lustre, которые были экспортированы в связанное ведро S3 и которые соответствуют вашим указанным критериям освобождения.
  • AUTO_RELEASE_DATA задачи автоматически освобождают файлы из ресурса Amazon File Cache.

Возможные значения:

  • EXPORT_TO_REPOSITORY
  • IMPORT_METADATA_FROM_REPOSITORY
  • RELEASE_DATA_FROM_FILESYSTEM
  • AUTO_RELEASE_DATA

--paths (список)

Список путей, которые должна использовать задача репозитория данных при обработке. Если предоставленный вами путь некорректен, задача завершится ошибкой. Если вы не предоставите пути, то по умолчанию все файлы будут экспортированы в S3 (для задач экспорта), импортированы из S3 (для задач импорта) или освобождены все экспортированные файлы, соответствующие критериям последнего доступа (для задач освобождения).

  • Для задач экспорта список содержит пути в файловой системе FSx для Lustre, из которых файлы экспортируются в ведро Amazon S3. Путь по умолчанию — корневой каталог файловой системы. Предоставляемые вами пути должны быть относительными к точке монтирования файловой системы. Если точка монтирования — /mnt/fsx, а /mnt/fsx/path1 — это каталог или файл в файловой системе, которые вы хотите экспортировать, то путь, который нужно указать, — path1.
  • Для задач импорта список содержит пути в ведре Amazon S3, из которых изменения метаданных POSIX импортируются в файловую систему FSx для Lustre. Путь может быть ведром S3 или префиксом в формате s3://bucket-name/prefix (где prefix необязателен).
  • Для задач освобождения список содержит пути к каталогам или файлам в файловой системе FSx для Lustre, из которых необходимо освободить экспортированные файлы. Если указан каталог, освобождаются файлы внутри каталога. Если указан путь к файлу, освобождается только этот файл. Чтобы освободить все экспортированные файлы в файловой системе, укажите прямой слеш (/), как путь.

Примечание

Файл также должен соответствовать критериям последнего доступа, указанным в для того, чтобы файл был освобожден.

(строка)

Синтаксис:

"string" "string" ...

--file-system-id (строка)

Глобально уникальный идентификатор файловой системы, назначенный Amazon FSx.

--report (структура)

Определяет, предоставляет ли Amazon FSx отчет о завершении после завершения задачи. Отчет о завершении предоставляет подробный отчет о файлах, которые обработала Amazon FSx, которые соответствуют критериям, указанным параметром Scope. Дополнительную информацию см. в разделе Работа с отчетами о завершении задач.

Enabled -> (булево)

Установите Enabled на True, чтобы сгенерировать CompletionReport при завершении задачи. Если установлено значение true, то вам необходимо предоставить отчет Scope, Path и Format. Установите Enabled на False, если вы не хотите генерировать CompletionReport при завершении задачи.

Path -> (строка)

Требуется, если Enabled установлено на true. Указывает расположение отчета в связанном репозитории данных S3 файловой системы. Абсолютный путь, определяющий, где будет храниться отчет о завершении в конечном расположении. Предоставляемый вами Path должен находиться в ExportPath файловой системы. Пример значения Path: "s3://amzn-s3-demo-bucket/myExportPath/optionalPrefix". Отчет содержит следующую информацию для каждого файла в отчете: FilePath, FileStatus и ErrorCode.

Format -> (строка)

Требуется, если Enabled установлено на true. Указывает формат CompletionReport. REPORT_CSV_20191124 — единственный в настоящее время поддерживаемый формат. Когда Format установлено на REPORT_CSV_20191124, CompletionReport предоставляется в формате CSV и доставляется в {path}/task-{id}/failures.csv.

Scope -> (строка)

Требуется, если Enabled установлено на true. Указывает область действия CompletionReport; FAILED_FILES_ONLY — единственный в настоящее время поддерживаемый охват. Когда Scope установлено на FAILED_FILES_ONLY, CompletionReport содержит только информацию о файлах, которые задача репозитория данных не смогла обработать.

Упрощенный синтаксис:

Enabled=boolean,Path=string,Format=string,Scope=string

Синтаксис JSON:

{
  "Enabled": true|false,
  "Path": "string",
  "Format": "REPORT_CSV_20191124",
  "Scope": "FAILED_FILES_ONLY"
}

--client-request-token (строка)

(Необязательно) Маркер идемпотентности для создания ресурсов, в строке длиной до 63 ASCII символов. Этот маркер автоматически заполняется от вашего имени при использовании командной строки (CLI) или SDK Amazon Web Services.

--tags (список)

Список значений Tag, с максимальным количеством элементов 50.

(структура)

Определяет пару ключ-значение для тега ресурса.

Key -> (строка)

Значение, определяющее TagKey, имя тега. Ключи тегов должны быть уникальными для ресурса, к которому они прикреплены.

Value -> (строка)

Значение, определяющее TagValue, значение, назначенное соответствующему ключу тега. Значения тегов могут быть null и не обязательно должны быть уникальными в наборе тегов. Например, в наборе тегов может быть пара ключ-значение finances : April и также пара payroll : April.

Упрощенный синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--capacity-to-release (целое)

Указывает объем данных для освобождения в ГБ (GiB) задачей Amazon File Cache AUTO_RELEASE_DATA, которая автоматически освобождает файлы из кэша.

--release-configuration (структура)

Конфигурация, определяющая критерии последнего доступа к файлам, которые будут освобождены из файловой системы Amazon FSx для Lustre.

DurationSinceLastAccess -> (структура)

Определяет момент времени с момента последнего доступа к экспортированному файлу, чтобы этот файл мог быть освобожден. Только файлы, последний раз доступ к которым был до этого момента, могут быть освобождены из файловой системы.

Unit -> (строка)

Единица измерения времени, используемая параметром Value для определения, может ли файл быть освобожден на основе того, когда он был последний раз доступен. DAYS — единственное поддерживаемое значение. Это обязательный параметр.

Value -> (целое)

Целое число, представляющее минимальное количество времени (в днях) с момента последнего доступа к файлу в файловой системе. Только экспортированные файлы со временем отметки последнего доступа, превышающим это количество времени (относительно времени создания задачи), будут освобождены. Значение по умолчанию Value — 0. Это обязательный параметр.

Примечание

Если экспортированный файл соответствует критериям последнего доступа, его путь к файлу или каталогу также должен быть указан в параметре Paths операции для освобождения файла.

Упрощенный синтаксис:

DurationSinceLastAccess={Unit=string,Value=long}

Синтаксис JSON:

{
  "DurationSinceLastAccess": {
    "Unit": "DAYS",
    "Value": long
  }
}

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной JSON-строки. JSON-строка соответствует формату, предоставленному --generate-cli-skeleton. Если на командной строке предоставлены другие аргументы, эти значения переопределят значения, предоставленные через JSON. Невозможно передавать произвольные двоичные значения с помощью предоставленного значения JSON, поскольку строка будет взята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод, не отправляя запрос API. Если предоставлено значение без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, при вводе yaml-input будет напечатан образец входного YAML, который можно использовать с --cli-input-yaml. При вводе output он валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный каркас JSON не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Общие параметры

--debug (boolean)

Включить отладку.

--endpoint-url (string)

Переопределить стандартный URL команды на предоставленный.

--no-verify-ssl (boolean)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI будет проверять SSL-сертификаты. Этот параметр переопределяет стандартное поведение проверки SSL-сертификатов.

--no-paginate (boolean)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (string)

Стиль форматирования вывода команды.

  • json
  • text
  • table
  • yaml
  • yaml-stream

--query (string)

Запрос JMESPath для фильтрации данных ответа.

--profile (string)

Использовать определённый профиль из файла с данными.

--region (string)

Использовать указанную область. Переопределяет настройки конфигурации/окружения.

--version (string)

Отобразить версию этого инструмента.

--color (string)

Включить/выключить цветной вывод.

  • on
  • off
  • auto

--no-sign-request (boolean)

Не подписывать запросы. Данные авторизации не будут загружены, если этот аргумент предоставлен.

--ca-bundle (string)

Файл с сертификатом CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/окружения.

--cli-read-timeout (int)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (int)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет блокирующим и не будет иметь таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (string)

Стиль форматирования, используемый для двоичных блоков. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные блоки будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, отображающего двоичный блок fileb:// всегда будет обрабатываться как двоичный и использовать содержимое файла напрямую независимо от параметра cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

  • base64
  • raw-in-base64-out

--no-cli-pager (boolean)

Отключить вывод пейджера для кли.

--cli-auto-prompt (boolean)

Автоматически запросить параметры ввода CLI.

--no-cli-auto-prompt (boolean)

Отключить автоматический запрос параметров ввода CLI.

Вывод

DataRepositoryTask -> (структура)

Описание задачи репозитория данных, которую вы только что создали.

TaskId -> (строка)

Сгенерированный системой уникальный 17-значный идентификатор задачи репозитория данных.

Lifecycle -> (строка)

Статус жизненного цикла задачи репозитория данных, как показано ниже:

  • PENDING - Задача еще не начата.
  • EXECUTING - Задача выполняется.
  • FAILED - Задача не была завершена. Например, могут быть файлы, которые задача не смогла обработать. Свойство DataRepositoryTaskFailureDetails содержит дополнительную информацию о сбоях задач.
  • SUCCEEDED - Задача успешно завершена.
  • CANCELED - Задача была отменена и не завершена.
  • CANCELING - Задача отменяется.

Примечание

Вы не можете удалить файловую систему FSx для Lustre, если для неё существуют задачи репозитория данных в состоянии PENDING или EXECUTING. Пожалуйста, повторите попытку, когда задача репозитория данных будет завершена (со статусом CANCELED, SUCCEEDED или FAILED). Вы можете использовать действие DescribeDataRepositoryTask для отслеживания статуса задачи. Обратитесь в команду FSx, если вам необходимо немедленно удалить вашу файловую систему.

Type -> (строка)

Тип задачи репозитория данных.

  • EXPORT_TO_REPOSITORY задачи экспортируют данные из вашей файловой системы Amazon FSx для Lustre в связанный репозиторий данных.
  • IMPORT_METADATA_FROM_REPOSITORY задачи импортируют изменения метаданных из связанного ведра S3 в вашу файловую систему Amazon FSx для Lustre.
  • RELEASE_DATA_FROM_FILESYSTEM задачи освобождают файлы в вашей файловой системе Amazon FSx для Lustre, которые были экспортированы в связанное ведро S3 и соответствуют вашим заданным критериям выпуска.
  • AUTO_RELEASE_DATA задачи автоматически освобождают файлы из ресурса Amazon File Cache.

CreationTime -> (метка времени)

Время создания ресурса в секундах (с 1970-01-01T00:00:00Z), также известное как время Unix.

StartTime -> (метка времени)

Время начала обработки задачи системой.

EndTime -> (метка времени)

Время завершения обработки задачи системой, заполняется после завершения задачи.

ResourceARN -> (строка)

Идентификатор ресурса Amazon Resource Name (ARN) для данного ресурса. ARN уникально идентифицируют ресурсы Amazon Web Services. Мы требуем ARN, когда вам нужно однозначно указать ресурс во всех сервисах Amazon Web Services. Для получения дополнительной информации, см. Имена ресурсов Amazon Resource Names (ARN) в Общие справочные материалы Amazon Web Services.

Tags -> (список)

Список значений тегов ресурсов, с максимальным количеством 50 элементов.

(структура)

Указывает пару ключ-значение для тега ресурса.

Key -> (строка)

Значение, указывающее TagKey, имя тега. Ключи тегов должны быть уникальными для ресурса, к которому они прикреплены.

Value -> (строка)

Значение, указывающее TagValue, значение, назначенное соответствующему ключу тега. Значения тегов могут быть нулевыми и не обязательно уникальными в наборе тегов. Например, у вас может быть пара ключ-значение в наборе тегов finances : April и также payroll : April.

FileSystemId -> (строка)

Глобально уникальный идентификатор файловой системы.

Paths -> (список)

Массив путей, указывающих данные для обработки задачей репозитория данных. Например, в задаче EXPORT_TO_REPOSITORY пути указывают, какие данные экспортировать в связанный репозиторий данных.

(По умолчанию) Если Paths не указан, Amazon FSx использует корневой каталог файловой системы.

(строка)

FailureDetails -> (структура)

Сообщение об ошибке, описывающее причину сбоя задачи, оно заполняется только тогда, когда Lifecycle установлено в FAILED.

Message -> (строка)

Подробное сообщение об ошибке.

Status -> (структура)

Предоставляет статус числа успешно обработанных файлов и файлов, обработка которых завершилась ошибкой.

TotalCount -> (целое)

Общее число файлов, которые должна обработать задача. Пока задача выполняется, сумма SucceededCount плюс FailedCount может не равняться TotalCount. Когда задача завершена, TotalCount равно сумме SucceededCount плюс FailedCount.

SucceededCount -> (целое)

Текущее число успешно обработанных файлов.

FailedCount -> (целое)

Текущее число файлов, обработка которых завершилась ошибкой.

LastUpdatedTime -> (метка времени)

Время последнего обновления статуса задачи.

ReleasedCapacity -> (целое)

Общий объем данных в GiB, освобожденный задачей AUTO_RELEASE_DATA Amazon File Cache, которая автоматически освобождает файлы из кэша.

Report -> (структура)

Предоставляет отчет, подробно описывающий результаты задачи репозитория данных для файлов, обработанных в соответствии с критериями, указанными в параметре отчета Scope. FSx предоставляет отчет в связанный репозиторий данных файловой системы в Amazon S3, используя путь, указанный в параметре отчета Path. Вы можете указать, будет ли генерироваться отчет для задачи с помощью параметра Enabled.

Enabled -> (булево)

Установите Enabled в True, чтобы сгенерировать CompletionReport при завершении задачи. Если установлено в true, то вам необходимо предоставить отчет Scope, Path и Format. Установите Enabled в False, если вы не хотите генерировать CompletionReport при завершении задачи.

Path -> (строка)

Необходимо, если Enabled установлено в true. Указывает расположение отчета в связанном репозитории данных S3 файловой системы. Абсолютный путь, определяющий место хранения отчета о завершении в целевом расположении. Указанный вами Path должен находиться в пределах ExportPath файловой системы. Пример значения Path: “s3://amzn-s3-demo-bucket/myExportPath/optionalPrefix”. Отчет содержит следующую информацию для каждого файла в отчете: FilePath, FileStatus и ErrorCode.

Format -> (строка)

Необходимо, если Enabled установлено в true. Указывает формат CompletionReport. REPORT_CSV_20191124 — единственный в настоящее время поддерживаемый формат. Когда Format установлено в REPORT_CSV_20191124, CompletionReport предоставляется в формате CSV и доставляется в {path}/task-{id}/failures.csv.

Scope -> (строка)

Необходимо, если Enabled установлено в true. Указывает область CompletionReport; FAILED_FILES_ONLY — единственная в настоящее время поддерживаемая область. Когда Scope установлено в FAILED_FILES_ONLY, CompletionReport содержит только информацию о файлах, обработка которых задачей репозитория данных завершилась ошибкой.

CapacityToRelease -> (целое)

Указывает объем данных в GiB, который необходимо освободить задачей AUTO_RELEASE_DATA Amazon File Cache, которая автоматически освобождает файлы из кэша.

FileCacheId -> (строка)

Сгенерированный системой уникальный идентификатор кэша.

ReleaseConfiguration -> (структура)

Настройка, которая определяет критерии времени последнего доступа к файлам, которые будут освобождены из файловой системы Amazon FSx для Lustre.

DurationSinceLastAccess -> (структура)

Определяет момент времени с момента последнего доступа к экспортированному файлу, чтобы этот файл был пригоден для освобождения. Только файлы, которые были последний раз доступны до этого момента, подлежат освобождению из файловой системы.

Unit -> (строка)

Единица времени, используемая параметром Value для определения возможности освобождения файла на основе времени последнего доступа. DAYS — единственное поддерживаемое значение. Этот параметр обязателен.

Value -> (целое)

Целое число, представляющее минимальное количество времени (в днях) с момента последнего доступа к файлу в файловой системе. Будут освобождаться только экспортированные файлы со значением метки времени MAX(atime, ctime, mtime), которое больше этого значения (относительно времени создания задачи). По умолчанию Value равно 0. Этот параметр обязателен.

Примечание

Если экспортированный файл соответствует критериям времени последнего доступа, его путь к файлу или каталогу также должен быть указан в параметре Paths операции, чтобы файл мог быть освобожден.

© Copyright 2025, Amazon Web Services. Created using Sphinx.

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API