create-data-repository-association

Описание

Создаёт ассоциацию хранилища данных Amazon FSx для Lustre (DRA). Ассоциация хранилища данных — это связь между каталогом на файловой системе и ведёрком или префиксом Amazon S3. Вы можете иметь максимум 8 ассоциаций хранилища данных на файловой системе. Ассоциации хранилища данных поддерживаются во всех файловых системах FSx для Lustre 2.12 и 2.15, за исключением типа развертывания scratch_1.

Каждая ассоциация хранилища данных должна иметь уникальный каталог файловой системы Amazon FSx и уникальное ведёрко или префикс S3, связанный с ней. Вы можете настроить ассоциацию хранилища данных только для автоматического импорта, только для автоматической экспорта или для обоих. Чтобы узнать больше о подключении хранилища данных к вашей файловой системе, см. Подключение вашей файловой системы к ведёрку S3.

Примечание

CreateDataRepositoryAssociation не поддерживается для ресурсов Amazon File Cache. Для создания DRA на Amazon File Cache используйте операцию CreateFileCache.

См. также: Документацию API AWS

Синтаксис

  create-data-repository-association
--file-system-id <value>
[--file-system-path <value>]
--data-repository-path <value>
[--batch-import-meta-data-on-create | --no-batch-import-meta-data-on-create]
[--imported-file-chunk-size <value>]
[--s3 <value>]
[--client-request-token <value>]
[--tags <value>]
[--cli-input-json | --cli-input-yaml]
[--generate-cli-skeleton <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--file-system-id (строка)

Глобально уникальный идентификатор файловой системы, присвоенный Amazon FSx.

--file-system-path (строка)

Путь в файловой системе, указывающий на каталог верхнего уровня (например, /ns1/ ) или подкаталог (например, /ns1/subdir/ ), который будет сопоставлен 1:1 с DataRepositoryPath . Ведущий слеш в имени является обязательным. Две ассоциации хранилища данных не могут иметь перекрывающиеся пути в файловой системе. Например, если ассоциация хранилища данных связана с путём файловой системы /ns1/ , то вы не можете связать другую ассоциацию хранилища данных с путём файловой системы /ns1/ns2 .

Этот путь указывает, откуда будут экспортироваться или импортироваться файлы в вашей файловой системе. Этот каталог файловой системы может быть связан только с одним ведёрком Amazon S3, и ни одно другое ведёрко S3 не может быть связано с этим каталогом.

Примечание

Если вы укажете только слеш (/ ) в качестве пути в файловой системе, вы можете связать только одну ассоциацию хранилища данных с файловой системой. Вы можете указать только «/» в качестве пути файловой системы для первой ассоциации хранилища данных, связанной с файловой системой.

--data-repository-path (строка)

Путь к хранилищу данных Amazon S3, которое будет связано с файловой системой. Путь может быть ведёрком или префиксом S3 в формате s3://bucket-name/prefix/ (где prefix необязателен). Этот путь указывает, куда в хранилище данных S3 будут импортироваться или экспортироваться файлы.

--batch-import-meta-data-on-create | --no-batch-import-meta-data-on-create (логическое значение)

Установите значение true для выполнения задачи импорта хранилища данных по импорту метаданных из хранилища данных в файловую систему после создания ассоциации хранилища данных. По умолчанию значение false .

--imported-file-chunk-size (целое число)

Для файлов, импортированных из хранилища данных, это значение определяет количество полос и максимальный объём данных на файл (в МБ), хранимый на одном физическом диске. Максимальное количество дисков, по которым может быть распределён один файл, ограничено общим количеством дисков, составляющих файловую систему.

Размер фрагмента по умолчанию составляет 1024 МБ (1 ГБ) и может достигать 512 000 МБ (500 ГБ). Максимальный размер объектов Amazon S3 составляет 5 ТБ.

--s3 (структура)

Настройка хранилища данных Amazon S3, связанного с файловой системой Amazon FSx Lustre с помощью ассоциации хранилища данных. Настройка определяет, какие события файлов (новые, изменённые или удалённые файлы или каталоги) автоматически импортируются из связанного хранилища данных в файловую систему или автоматически экспортируются из файловой системы в хранилище данных.

AutoImportPolicy -> (структура)

Указывает тип обновлённых объектов (новые, изменённые, удалённые), которые будут автоматически импортированы из связанного ведёрка S3 в вашу файловую систему.

Events -> (список)

AutoImportPolicy может иметь следующие значения событий:

NEW - Amazon FSx автоматически импортирует метаданные файлов, добавленных в связанное ведёрко S3, которые в настоящее время не существуют в файловой системе FSx.
CHANGED - Amazon FSx автоматически обновляет метаданные файлов и делает недействительным существующее содержимое файла в файловой системе, когда файлы изменяются в хранилище данных.
DELETED - Amazon FSx автоматически удаляет файлы из файловой системы, когда соответствующие файлы удаляются в хранилище данных.

Вы можете определить любую комбинацию типов событий для вашего AutoImportPolicy .

(строка)

AutoExportPolicy -> (структура)

Указывает тип обновлённых объектов (новые, изменённые, удалённые), которые будут автоматически экспортироваться из вашей файловой системы в связанное ведёрко S3.

Events -> (список)

AutoExportPolicy может иметь следующие значения событий:

NEW - Новые файлы и каталоги автоматически экспортируются в хранилище данных по мере добавления их в файловую систему.
CHANGED - Изменения файлов и каталогов в файловой системе автоматически экспортируются в хранилище данных.
DELETED - Файлы и каталоги автоматически удаляются из хранилища данных при их удалении в файловой системе.

Вы можете определить любую комбинацию типов событий для вашего AutoExportPolicy .

(строка)

Сокращённый синтаксис:

AutoImportPolicy={Events=[string,string]},AutoExportPolicy={Events=[string,string]}

Синтаксис JSON:

{
  "AutoImportPolicy": {
    "Events": ["NEW"|"CHANGED"|"DELETED", ...]
  },
  "AutoExportPolicy": {
    "Events": ["NEW"|"CHANGED"|"DELETED", ...]
  }
}

--client-request-token (строка)

(Необязательно) Маркер идемпотентности для создания ресурса, строка длиной до 63 ASCII символов. Этот маркер автоматически заполняется от вашего имени при использовании командной строки CLI или SDK Amazon Web Services.

--tags (список)

Список значений Tag, максимум 50 элементов.

(структура)

Указывает пару ключ-значение для тега ресурса.

Key -> (строка)

Значение, определяющее TagKey, имя тега. Ключи тегов должны быть уникальными для ресурса, к которому они прикреплены.

Value -> (строка)

Значение, определяющее TagValue, значение, назначенное соответствующему ключу тега. Значения тегов могут быть null и не обязательно должны быть уникальными в наборе тегов. Например, вы можете иметь пару ключ-значение в наборе тегов finances : April и также payroll : April .

Сокращённый синтаксис:

Key=string,Value=string ...

Синтаксис JSON:

[
  {
    "Key": "string",
    "Value": "string"
  }
  ...
]

--cli-input-json | --cli-input-yaml (строка) Считывает аргументы из предоставленной строки JSON. Строка JSON следует формату, предоставленному --generate-cli-skeleton. Если на командной строке указаны другие аргументы, эти значения переопределят значения, предоставленные в JSON. Передавать произвольные двоичные значения с помощью предоставленного JSON-значения невозможно, так как строка будет воспринята буквально. Это не может быть указано вместе с --cli-input-yaml.

--generate-cli-skeleton (строка) Выводит каркас JSON в стандартный вывод без отправки запроса API. Если предоставлено без значения или со значением input, выводит пример входного JSON, который можно использовать в качестве аргумента для --cli-input-json. Аналогично, если предоставлено yaml-input, он выведет пример входного YAML, который можно использовать с --cli-input-yaml. При предоставлении значения output он валидирует входные данные команды и возвращает пример выходного JSON для этой команды. Сгенерированный каркас JSON не является стабильным между версиями AWS CLI, и нет гарантий обратной совместимости в сгенерированном каркасе JSON.

Глобальные параметры

--debug (логическое значение)

Включить отладочную регистрацию.

--endpoint-url (строка)

Переопределить значение URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с сервисами AWS. Для каждого подключения SSL AWS CLI будет проверять сертификаты SSL. Этот параметр переопределяет стандартное поведение проверки сертификатов SSL.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команд.

json
текст
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использование конкретного профиля из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отображение версии данного инструмента.

--color (строка)

Включение/выключение цветного вывода.

включено
выключено
автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружены, если этот аргумент указан.

--ca-bundle (строка)

Сборник сертификатов CA для использования при проверке SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение равно 0, чтение сокета будет выполняться блокирующим образом и не будет таймаута. Значение по умолчанию составляет 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение равно 0, подключение сокета будет выполняться блокирующим образом и не будет таймаута. Значение по умолчанию составляет 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных блоков. Формат по умолчанию — base64. Формат base64 ожидает, что двоичные блоки будут предоставлены как строка, закодированная в base64. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI V1, и двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, которое сопоставляется с двоичным блоком, fileb:// всегда будет обрабатываться как двоичный и будет использовать содержимое файла напрямую независимо от установки cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для настроенного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить кли-паджинатор для вывода.

--cli-auto-prompt (логическое значение)

Автоматически запрашивать параметры ввода CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запроса параметров ввода CLI.

Вывод

Ассоциация -> (структура)

Объект ответа, возвращаемый после создания ассоциации хранилища данных.

AssociationId -> (строка)

Уникальный, сгенерированный системой, идентификатор ассоциации хранилища данных.

ResourceARN -> (строка)

Amazon Resource Name (ARN) для данного ресурса. ARN однозначно идентифицируют ресурсы Amazon Web Services. Мы требуем ARN, когда вам нужно однозначно указать ресурс во всех службах Amazon Web Services. Дополнительную информацию см. в разделе Amazon Resource Names (ARN) в Amazon Web Services General Reference.

FileSystemId -> (строка)

Глобально уникальный идентификатор файловой системы, назначенный Amazon FSx.

Lifecycle -> (строка)

Описывает состояние ассоциации хранилища данных. Жизненный цикл может иметь следующие значения:

CREATING - Ассоциация хранилища данных между файловой системой или кэшем и хранилищем данных создается. Хранилище данных недоступно.
AVAILABLE - Ассоциация хранилища данных доступна для использования.
MISCONFIGURED - Ассоциация хранилища данных неправильно настроена. Пока конфигурация не будет исправлена, автоматический импорт и автоматический экспорт не будут работать (только для Amazon FSx for Lustre).
UPDATING - Ассоциация хранилища данных проходит обновление, инициированное пользователем, которое может повлиять на ее доступность.
DELETING - Ассоциация хранилища данных проходит удаление, инициированное пользователем.
FAILED - Ассоциация хранилища данных находится в терминальном состоянии, которое не может быть восстановлено.

FailureDetails -> (структура)

Предоставляет подробную информацию о хранилище данных, если его Lifecycle установлено в MISCONFIGURED или FAILED.

Message -> (строка)

Подробное сообщение об ошибке.

FileSystemPath -> (строка)

Путь в файловой системе Amazon FSx для Lustre, указывающий на папку высокого уровня (например, /ns1/ ) или подпапку (например, /ns1/subdir/ ), которая будет отображаться 1 к 1 с DataRepositoryPath . В имени требуется ведущий слэш. Две ассоциации хранилища данных не могут иметь перекрывающиеся пути в файловой системе. Например, если хранилище данных ассоциировано с путем файловой системы /ns1/ , то вы не можете связать другое хранилище данных с путем файловой системы /ns1/ns2 .

Этот путь указывает, откуда будут экспортироваться или импортироваться файлы из вашей файловой системы. Данный каталог файловой системы может быть связан только с одним ведром Amazon S3, и никакое другое ведро S3 не может быть связано с каталогом.

Примечание

Если вы укажете только слэш (/ ) как путь файловой системы, вы можете связать только одно хранилище данных с файловой системой. Вы можете указать только «/» как путь файловой системы для первой ассоциации хранилища данных с файловой системой.

DataRepositoryPath -> (строка)

Путь к хранилищу данных, которое будет связано с кэшем или файловой системой.

Для Amazon File Cache путь может быть NFS-хранилищем данных, которое будет связано с кэшем. Путь может быть в одном из двух форматов:
- Если вы не используете параметр DataRepositorySubdirectories , путь указывает на каталог NFS Export (или одну из его подпапок) в формате nsf://nfs-domain-name/exportpath . Таким образом, вы можете связать один NFS Export с одной ассоциацией хранилища данных.
- Если вы используете параметр DataRepositorySubdirectories , путь — это доменное имя NFS-файловой системы в формате nfs://filer-domain-name , который указывает корень подпапок, указанных с помощью параметра DataRepositorySubdirectories .
Для Amazon File Cache путь может быть ведром S3 или префиксом в формате s3://bucket-name/prefix/ (где prefix необязательно).
Для Amazon FSx for Lustre путь может быть ведром S3 или префиксом в формате s3://bucket-name/prefix/ (где prefix необязательно).

BatchImportMetaDataOnCreate -> (булево)

Флаг булевого типа, указывающий, следует ли запускать задачу импорта хранилища данных для импорта метаданных после создания ассоциации хранилища данных. Задача запускается, если этот флаг установлен в true.

Примечание

BatchImportMetaDataOnCreate не поддерживается для хранилищ данных, связанных с ресурсом Amazon File Cache.

ImportedFileChunkSize -> (целое число)

Для файлов, импортированных из хранилища данных, это значение определяет количество полос и максимальный объем данных на файл (в МБ) на одном физическом диске. Максимальное количество дисков, на которые может быть распределен один файл, ограничено общим числом дисков, составляющих файловую систему или кэш.

S3 -> (структура)

Настройка хранилища данных Amazon S3, связанного с файловой системой Amazon FSx for Lustre с ассоциацией хранилища данных.

AutoImportPolicy -> (структура)

Указывает тип обновленных объектов (новые, измененные, удаленные), которые будут автоматически импортированы из связанного ведра S3 в вашу файловую систему.

Events -> (список)

AutoImportPolicy может иметь следующие значения событий:

NEW - Amazon FSx автоматически импортирует метаданные файлов, добавленных в связанное ведро S3, которые в настоящее время отсутствуют в файловой системе FSx.
CHANGED - Amazon FSx автоматически обновляет метаданные файлов и делает недействительным существующее содержимое файла в файловой системе, когда файлы изменяются в хранилище данных.
DELETED - Amazon FSx автоматически удаляет файлы из файловой системы, когда соответствующие файлы удаляются в хранилище данных.

Вы можете определить любую комбинацию типов событий для вашего AutoImportPolicy .

(строка)

AutoExportPolicy -> (структура)

Указывает тип обновленных объектов (новые, измененные, удаленные), которые будут автоматически экспортированы из вашей файловой системы в связанное ведро S3.

Events -> (список)

AutoExportPolicy может иметь следующие значения событий:

NEW - Новые файлы и каталоги автоматически экспортируются в хранилище данных по мере добавления их в файловую систему.
CHANGED - Изменения в файлах и каталогах на файловой системе автоматически экспортируются в хранилище данных.
DELETED - Файлы и каталоги автоматически удаляются из хранилища данных, когда они удаляются из файловой системы.

Вы можете определить любую комбинацию типов событий для вашего AutoExportPolicy .

(строка)

Tags -> (список)

Список значений тегов Tag, максимальное количество элементов 50.

(структура)

Указывает пару ключ-значение для тега ресурса.

Key -> (строка)

Value -> (строка)

Значение, определяющее TagValue, значение, назначенное соответствующему ключу тега. Значения тегов могут быть NULL и не обязательно должны быть уникальными в наборе тегов. Например, в наборе тегов может быть пара ключ-значение finances : April и также payroll : April.

CreationTime -> (метка времени)

Время создания ресурса в секундах (с 1970-01-01T00:00:00Z), также известное как время Unix.

FileCacheId -> (строка)

Глобально уникальный идентификатор ресурса Amazon File Cache.

FileCachePath -> (строка)

Путь в Amazon File Cache, указывающий на папку высокого уровня (например, /ns1/ ) или подпапку (например, /ns1/subdir/ ), которая будет отображаться 1 к 1 с DataRepositoryPath . Ведущий слэш в пути обязателен. Две ассоциации хранилища данных не могут иметь перекрывающиеся пути кэша. Например, если хранилище данных ассоциировано с путем кэша /ns1/ , то вы не можете связать другое хранилище данных с путем кэша /ns1/ns2 .

Этот путь указывает каталог в вашем кэше, откуда будут экспортироваться файлы. Этот каталог кэша может быть связан только с одним хранилищем данных (S3 или NFS), и никакое другое хранилище данных не может быть связано с этим каталогом.

Примечание

Путь к кэшу может быть установлен только в корень (/) в NFS DRA, когда указан DataRepositorySubdirectories. Если вы укажете корень (/), как путь к кэшу, вы можете создать только одну DRA в кэше.

Путь к кэшу не может быть установлен в корень (/) для S3 DRA.

DataRepositorySubdirectories -> (список)

Для Amazon File Cache, список NFS Export, которые будут связаны с ассоциацией NFS-хранилища данных. Все подкаталоги должны находиться в одной NFS-файловой системе. Пути экспорта имеют формат /exportpath1. Чтобы использовать этот параметр, вы должны настроить DataRepositoryPath как доменное имя NFS-файловой системы. Доменное имя NFS-файловой системы фактически является корнем подкаталогов. Обратите внимание, что DataRepositorySubdirectories не поддерживается для S3-хранилищ данных.

(строка)

NFS -> (структура)

Настройка NFS-хранилища данных, связанного с ресурсом Amazon File Cache с ассоциацией хранилища данных.

Version -> (строка)

Версия протокола NFS (Network File System) NFS-хранилища данных. В настоящее время единственное поддерживаемое значение — NFS3, указывающее, что хранилище данных должно поддерживать протокол NFSv3.

DnsIps -> (список)

Список до 2 IP-адресов DNS-серверов, используемых для разрешения доменного имени NFS-файловой системы. Предоставленные IP-адреса могут быть IP-адресами DNS-переадресатора или решателя, управляемыми и запущенными клиентом внутри VPC клиента, или IP-адресами серверов DNS локальной сети.

(строка)

AutoExportPolicy -> (структура)

Этот параметр не поддерживается для Amazon File Cache.

Events -> (список)

AutoExportPolicy может иметь следующие значения событий:

NEW - Новые файлы и каталоги автоматически экспортируются в хранилище данных по мере добавления их в файловую систему.
CHANGED - Изменения в файлах и каталогах на файловой системе автоматически экспортируются в хранилище данных.
DELETED - Файлы и каталоги автоматически удаляются из хранилища данных, когда они удаляются из файловой системы.

Вы можете определить любую комбинацию типов событий для вашего AutoExportPolicy.

(строка)