datapipeline

Описание

AWS Data Pipeline настраивает и управляет потоком данных, называемым конвейером. AWS Data Pipeline обрабатывает детали планирования и обеспечения выполнения зависимостей данных, позволяя вашему приложению сосредоточиться на обработке данных.

AWS Data Pipeline предоставляет JAR-реализацию исполнителя задач, называемого AWS Data Pipeline Task Runner. AWS Data Pipeline Task Runner обеспечивает логику для распространённых сценариев управления данными, таких как выполнение запросов к базам данных и выполнение анализа данных с использованием Amazon Elastic MapReduce (Amazon EMR). Вы можете использовать AWS Data Pipeline Task Runner в качестве своего исполнителя задач или написать собственного исполнителя для предоставления индивидуального управления данными.

AWS Data Pipeline реализует два основных набора функциональности. Используйте первый набор для создания конвейера и определения источников данных, графиков, зависимостей и преобразований, которые должны быть выполнены над данными. Используйте второй набор в вашем приложении исполнителя задач для получения следующей задачи, готовой к обработке. Логика выполнения задачи, такой как запрос данных, выполнение анализа данных или преобразование данных из одного формата в другой, содержится внутри исполнителя задач. Исполнитель задач выполняет задачу, назначенную ему веб-службой, сообщая о ходе выполнения веб-службе. Когда задача выполнена, исполнитель задач сообщает веб-службе о конечном успехе или неудаче задачи.

Доступные команды