Администрирование

Сценарии Pig могут содержать несколько операторов STORE. В некоторых случаях необходимо избежать записи в одно и то же место вывода. Pig предоставляет администраторам/авторам сценариев свойство для проверки, пытаются ли несколько операторов STORE записать в один и тот же выходной каталог. И быстро завершать выполнение, информируя пользователя об этом.

Это особенно актуально для расположений вывода на основе файлов (HDFS, локальная файловая система, S3…) для предотвращения сбоя сценария Pig, когда несколько задач MR записывают в одно и то же место.

Для включения строгой проверки расположения вывода установите pig.location.check.strict=true. Смотрите также Свойства Pig о том, как установить это свойство.

Это функция администратора, предоставляющая возможность создания чёрного и/или белого списка определённых команд и операций. Pig предоставляет несколько таких команд, которые могут быть небезопасными в многопользовательской среде. Например, «sh» вызывает команды оболочки, «set» позволяет пользователям изменять не окончательные конфигурации. Хотя они очень полезны в целом, возможность отключения сделает Pig более безопасной платформой. Цель состоит в том, чтобы предоставить администраторам больший контроль над пользовательскими сценариями. По умолчанию поведение останется тем же — никакие фильтры к командам и операторам не применяются.

Для управления доступными пользователям операциями можно использовать два свойства:

• pig.blacklist
• pig.whitelist

Чёрный список

Установите «pig.blacklist» в запятой-разделённый набор операторов и команд. Например, pig.blacklist=rm,kill,cross запретит пользователям выполнение команд «rm», «kill» и оператора «cross».

Белый список

Это ещё более безопасный подход к запрету функциональности в Pig. С помощью него вы сможете запретить все команды и операторы, которые не являются частью белого списка. Например, pig.whitelist=load,filter,store запретит все команды и операторы, кроме «load», «filter» и «store».

Примечание

Не должно быть конфликтов между чёрным и белым списком. Убедитесь, что они полностью разные, иначе Pig выдаст ошибку.