add-steps

Описание

Добавить список шагов в кластер.

Синтаксис

  add-steps
--cluster-id <value>
--steps <value> [<value>...]
[--execution-role-arn <value>]
[--debug]
[--endpoint-url <value>]
[--no-verify-ssl]
[--no-paginate]
[--output <value>]
[--query <value>]
[--profile <value>]
[--region <value>]
[--version <value>]
[--color <value>]
[--no-sign-request]
[--ca-bundle <value>]
[--cli-read-timeout <value>]
[--cli-connect-timeout <value>]
[--cli-binary-format <value>]
[--no-cli-pager]
[--cli-auto-prompt]
[--no-cli-auto-prompt]

Параметры

--cluster-id (строка)

Уникальная строка, идентифицирующая кластер. Этот идентификатор возвращается командой create-cluster. Идентификаторы кластеров можно получить с помощью команды list-clusters.

--steps (список)

Указывает список шагов, которые должен выполнить кластер. Шаги выполняются только на узле мастера после установки приложений и используются для отправки задач в кластер. Шаг можно указать с помощью сокращенного синтаксиса, со ссылкой на JSON-файл или указанием встроенной JSON-структуры. Список значений, переданный с шагами, должен быть представлен в виде списка значений, разделенных запятыми (Args=arg1,arg2,arg3) или в виде списка значений в скобках со значениями пар ключ-значение (Args=[arg1,arg2=value,arg4).

(структура)

Тип -> (строка)

Тип шага, который нужно добавить в кластер.

Имя -> (строка)

Имя шага.

Действие при ошибке -> (строка)

Действие, которое необходимо выполнить при ошибке шага кластера.

JAR-файл -> (строка)

Путь к JAR-файлу, который выполняется во время шага.

Аргументы -> (список)

Список аргументов командной строки, которые нужно передать шагу.

(строка)

Главный класс -> (строка)

Имя главного класса в указанном Java-файле. Если не указано, JAR-файл должен указать Main-Class в своем манифесте.

Свойства -> (строка)

Список свойств Java, которые устанавливаются при выполнении шага. С помощью этих свойств можно передавать пары ключ-значение в вашу главную функцию.

Сокращенный синтаксис:

Type=string,Name=string,ActionOnFailure=string,Jar=string,Args=string,string,MainClass=string,Properties=string ...

JSON-синтаксис:

[
  {
    "Type": "CUSTOM_JAR"|"STREAMING"|"HIVE"|"PIG"|"IMPALA",
    "Name": "string",
    "ActionOnFailure": "TERMINATE_CLUSTER"|"CANCEL_AND_WAIT"|"CONTINUE",
    "Jar": "string",
    "Args": ["string", ...],
    "MainClass": "string",
    "Properties": "string"
  }
  ...
]

--execution-role-arn (строка)

Вы должны предоставить роли выполнения необходимые разрешения для доступа к тем же ресурсам IAM, к которым может получить доступ шаг. Роль выполнения может быть ролью IAM в другом аккаунте.

Глобальные параметры

--debug (логическое значение)

Включить отладовую регистрацию.

--endpoint-url (строка)

Переопределить URL по умолчанию команды заданным URL.

--no-verify-ssl (логическое значение)

По умолчанию AWS CLI использует SSL при общении с AWS-сервисами. Для каждого SSL-соединения AWS CLI проверяет сертификаты SSL. Этот параметр переопределяет поведение по умолчанию по проверке SSL-сертификатов.

--no-paginate (логическое значение)

Отключить автоматическую постраничную навигацию. Если автоматическая постраничная навигация отключена, AWS CLI выполнит только один вызов для первой страницы результатов.

--output (строка)

Стиль форматирования вывода команды.

json
текст
таблица
yaml
yaml-поток

--query (строка)

Запрос JMESPath для фильтрации данных ответа.

--profile (строка)

Использовать определенный профиль из файла учетных данных.

--region (строка)

Регион для использования. Переопределяет настройки конфигурации/среды.

--version (строка)

Отобразить версию этого инструмента.

--color (строка)

Включить/выключить цветной вывод.

включить
выключить
автоматически

--no-sign-request (логическое значение)

Не подписывать запросы. Учетные данные не будут загружаться, если этот аргумент указан.

--ca-bundle (строка)

Файл с набором сертификатов CA для проверки SSL-сертификатов. Переопределяет настройки конфигурации/среды.

--cli-read-timeout (целое число)

Максимальное время чтения сокета в секундах. Если значение установлено в 0, чтение сокета будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.

--cli-connect-timeout (целое число)

Максимальное время подключения сокета в секундах. Если значение установлено в 0, подключение сокета будет выполняться без блокировки и без таймаута. Значение по умолчанию — 60 секунд.

--cli-binary-format (строка)

Стиль форматирования, используемый для двоичных данных. По умолчанию используется формат base64. Формат base64 ожидает, что двоичные данные будут предоставлены в виде закодированной в base64 строки. Формат raw-in-base64-out сохраняет совместимость с поведением AWS CLI версии 1, а двоичные значения должны передаваться буквально. При предоставлении содержимого из файла, сопоставленного с двоичными данными, fileb:// всегда будет обрабатываться как двоичный, и будет использоваться содержимое файла напрямую независимо от настроек cli-binary-format. При использовании file:// содержимое файла должно быть должным образом отформатировано для заданного cli-binary-format.

base64
raw-in-base64-out

--no-cli-pager (логическое значение)

Отключить вывод страниц CLI.

--cli-auto-prompt (логическое значение)

Автоматически запросить параметры входных данных CLI.

--no-cli-auto-prompt (логическое значение)

Отключить автоматическое запросы параметров входных данных CLI.

Примеры

Примечание

Для использования следующих примеров необходимо установить и настроить AWS CLI. Дополнительная информация приведена в руководстве по началу работы с AWS CLI в Руководстве пользователя AWS CLI.

Если не указано иное, во всех примерах используются правила цитирования в стиле Unix. Эти примеры необходимо адаптировать к правилам цитирования вашей оболочки. См. раздел Использование кавычек со строками в Руководстве пользователя AWS CLI.

1. Добавление шагов с пользовательскими JAR-файлами в кластер

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,Args=arg1,arg2,arg3 Type=CUSTOM_JAR,Name=CustomJAR,ActionOnFailure=CONTINUE,Jar=s3://amzn-s3-demo-bucket/mytest.jar,MainClass=mymainclass,Args=arg1,arg2,arg3

Необходимые параметры:
```
Jar
```
Дополнительные параметры:
```
Type, Name, ActionOnFailure, Args
```

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
        "s-YYYYYYYY"
    ]
}

2. Добавление потоковых шагов в кластер

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=STREAMING,Name='Streaming Program',ActionOnFailure=CONTINUE,Args=[-files,s3://elasticmapreduce/samples/wordcount/wordSplitter.py,-mapper,wordSplitter.py,-reducer,aggregate,-input,s3://elasticmapreduce/samples/wordcount/input,-output,s3://amzn-s3-demo-bucket/wordcount/output]

Необходимые параметры:
```
Type, Args
```
Дополнительные параметры:
```
Name, ActionOnFailure
```

Эквивалент в JSON (содержимое step.json):

 [
  {
    "Name": "JSON Streaming Step",
    "Args": ["-files","s3://elasticmapreduce/samples/wordcount/wordSplitter.py","-mapper","wordSplitter.py","-reducer","aggregate","-input","s3://elasticmapreduce/samples/wordcount/input","-output","s3://amzn-s3-demo-bucket/wordcount/output"],
    "ActionOnFailure": "CONTINUE",
    "Type": "STREAMING"
  }
]

ПРИМЕЧАНИЕ: JSON-аргументы должны содержать опции и значения в виде отдельных элементов списка.

Команда (используя step.json):

aws emr add-steps --cluster-id j-XXXXXXXX --steps file://./step.json

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
        "s-YYYYYYYY"
    ]
}

3. Добавление потокового шага с несколькими файлами в кластер (только JSON)

JSON (multiplefiles.json):

[
  {
     "Name": "JSON Streaming Step",
     "Type": "STREAMING",
     "ActionOnFailure": "CONTINUE",
     "Args": [
         "-files",
         "s3://amzn-s3-demo-bucket/mapper.py,s3://amzn-s3-demo-bucket/reducer.py",
         "-mapper",
         "mapper.py",
         "-reducer",
         "reducer.py",
         "-input",
         "s3://amzn-s3-demo-bucket/input",
         "-output",
         "s3://amzn-s3-demo-bucket/output"]
  }
]

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX  --steps file://./multiplefiles.json

Необходимые параметры:
```
Type, Args
```
Дополнительные параметры:
```
Name, ActionOnFailure
```

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
    ]
}

4. Добавление шагов Hive в кластер

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=HIVE,Name='Hive program',ActionOnFailure=CONTINUE,Args=[-f,s3://amzn-s3-demo-bucket/myhivescript.q,-d,INPUT=s3://amzn-s3-demo-bucket/myhiveinput,-d,OUTPUT=s3://amzn-s3-demo-bucket/myhiveoutput,arg1,arg2] Type=HIVE,Name='Hive steps',ActionOnFailure=TERMINATE_CLUSTER,Args=[-f,s3://elasticmapreduce/samples/hive-ads/libs/model-build.q,-d,INPUT=s3://elasticmapreduce/samples/hive-ads/tables,-d,OUTPUT=s3://amzn-s3-demo-bucket/hive-ads/output/2014-04-18/11-07-32,-d,LIBS=s3://elasticmapreduce/samples/hive-ads/libs]

Необходимые параметры:
```
Type, Args
```
Дополнительные параметры:
```
Name, ActionOnFailure
```

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
        "s-YYYYYYYY"
    ]
}

5. Добавление шагов Pig в кластер

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=PIG,Name='Pig program',ActionOnFailure=CONTINUE,Args=[-f,s3://amzn-s3-demo-bucket/mypigscript.pig,-p,INPUT=s3://amzn-s3-demo-bucket/mypiginput,-p,OUTPUT=s3://amzn-s3-demo-bucket/mypigoutput,arg1,arg2] Type=PIG,Name='Pig program',Args=[-f,s3://elasticmapreduce/samples/pig-apache/do-reports2.pig,-p,INPUT=s3://elasticmapreduce/samples/pig-apache/input,-p,OUTPUT=s3://amzn-s3-demo-bucket/pig-apache/output,arg1,arg2]

Необходимые параметры:
```
Type, Args
```
Дополнительные параметры:
```
Name, ActionOnFailure
```

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
        "s-YYYYYYYY"
    ]
}

6. Добавление шагов Impala в кластер

Команда:

aws emr add-steps --cluster-id j-XXXXXXXX --steps Type=IMPALA,Name='Impala program',ActionOnFailure=CONTINUE,Args=--impala-script,s3://myimpala/input,--console-output-path,s3://myimpala/output

Необходимые параметры:
```
Type, Args
```
Дополнительные параметры:
```
Name, ActionOnFailure
```

Вывод:

{
    "StepIds":[
        "s-XXXXXXXX",
        "s-YYYYYYYY"
    ]
}