Администрирование

Скрипты Pig могут содержать несколько операторов STORE. В некоторых случаях необходимо предотвратить запись в одно и то же место вывода. Pig предоставляет администраторам/авторам скриптов свойство для проверки попыток записи в один и тот же выходной каталог несколькими операторами STORE. В этом случае выполнение прерывается, и пользователь получает об этом уведомление.

Это особенно актуально для расположений вывода на основе файлов (HDFS, локальная ФС, S3…) для предотвращения сбоев скриптов Pig, когда несколько задач MR записывают данные в одно и то же место.

Для включения строгой проверки расположения вывода установите pig.location.check.strict=true. Смотрите также Свойства Pig для получения информации о настройке этого свойства.

Эта функция администрирования предоставляет возможность создания чёрного и/или белого списка определённых команд и операций. Pig предоставляет некоторые из них, которые могут быть небезопасными в многопользовательской среде. Например, "sh" вызывает команды оболочки, "set" позволяет пользователям изменять не окончательные конфигурации. Хотя они очень полезны в целом, возможность их отключения сделает Pig более безопасной платформой. Цель состоит в том, чтобы предоставить администраторам больший контроль над пользовательскими скриптами. По умолчанию фильтрация команд и операторов не применяется.

Для управления возможностями пользователей есть два свойства:

• pig.blacklist
• pig.whitelist

Блокирование

Установите "pig.blacklist" в запятой-разделённый набор операторов и команд. Например, pig.blacklist=rm,kill,cross заблокирует выполнение команд "rm", "kill" и оператора "cross".

Разрешение

Это ещё более безопасный подход к запрету функциональности в Pig. С его помощью можно заблокировать все команды и операторы, которые не входят в белый список. Например, pig.whitelist=load,filter,store запретит все команды и операторы, кроме "load", "filter" и "store".

Примечание

Не должно быть конфликтов между чёрным и белым списками. Убедитесь, что они полностью различаются, иначе Pig выдаст сообщение об ошибке.