Администрирование

Сценарии Pig могут содержать несколько операторов STORE. В некоторых случаях необходимо предотвратить запись в то же место вывода. Pig предоставляет администраторам/авторам сценариев возможность проверки, пытаются ли несколько операторов STORE записать в один и тот же выходной каталог. И быстро сообщать пользователю об этом.

Это особенно полезно для расположений вывода на основе файлов (HDFS, локальная ФС, S3...), чтобы избежать сбоев сценариев Pig, когда несколько заданий MR записывают в одно и то же место.

Для включения строгой проверки расположения вывода установите pig.location.check.strict=true. См. также Свойства Pig, чтобы узнать, как установить это свойство.

Это административная функция, предоставляющая возможность создания чёрного и/или белого списка определённых команд и операций. Pig предоставляет несколько из таких операций, которые могут быть небезопасными в многопользовательской среде. Например, "sh" вызывает команды оболочки, "set" позволяет пользователям изменять не окончательные конфигурации. Хотя они чрезвычайно полезны в общем случае, возможность их отключения сделает Pig более безопасной платформой. Цель состоит в том, чтобы предоставить администраторам больший контроль над пользовательскими скриптами. По умолчанию поведение останется прежним — никаких фильтров для команд и операторов не применяется.

Вы можете использовать два свойства для управления тем, что пользователи могут делать:

• pig.blacklist
• pig.whitelist

Блокирование

Установите "pig.blacklist" в список операторов и команд, разделённых запятыми. Например, pig.blacklist=rm,kill,cross запретит пользователям выполнять любую из команд "rm", "kill" и оператор "cross".

Разрешение

Это ещё более безопасный способ запретить функциональность в Pig. С помощью него вы сможете запретить все команды и операторы, которые не входят в белый список. Например, pig.whitelist=load,filter,store запретит все команды и операторы, кроме "load", "filter" и "store".

Примечание

Не должно быть конфликтов между чёрным и белым списками. Убедитесь, что они полностью разные, иначе Pig выдаст сообщение об ошибке.