Создание API преобразования

PUT _transform/<transform_id>

Требуются следующие привилегии:

Этот API определяет преобразование, которое копирует данные из индексов источника, преобразует их и сохраняет в целевом индексе, ориентированном на сущности. Если для преобразования выбран метод pivot, сущности определяются набором полей group_by в объекте pivot. Если выбран метод latest, сущности определяются значениями поля unique_key в объекте latest.

Также можно рассматривать целевой индекс как двумерную табличную структуру данных (так называемую таблицу данных). Идентификатор каждого документа в таблице данных генерируется из хэша сущности, поэтому на каждую сущность приходится одна строка. Дополнительную информацию см. в Преобразование данных.

При создании преобразования выполняется ряд проверок для обеспечения успешного создания. Например, проверяется существование индексов источника и то, что целевой индекс не входит в шаблон индекса источника. Вы можете использовать параметр defer_validation для пропуска этих проверок.

Отложенные проверки всегда выполняются при запуске преобразования, за исключением проверок привилегий. При включенных функциях безопасности Elasticsearch преобразование запоминает роли пользователя, создавшего его в момент создания, и использует те же роли. Если эти роли не имеют необходимых привилегий на индексы источника и назначения, преобразование завершается неудачно при попытке выполнить несанкционированные операции.

Для преобразования необходимо выбрать либо метод latest, либо pivot; оба метода нельзя использовать в одном преобразовании.

Следующее преобразование использует метод pivot:

PUT _transform/ecommerce_transform1
{
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "term": {
        "geoip.continent_name": {
          "value": "Asia"
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id",
          "missing_bucket": true
        }
      }
    },
    "aggregations": {
      "max_price": {
        "max": {
          "field": "taxful_total_price"
        }
      }
    }
  },
  "description": "Maximum priced ecommerce data by customer_id in Asia",
  "dest": {
    "index": "kibana_sample_data_ecommerce_transform1",
    "pipeline": "add_timestamp_pipeline"
  },
  "frequency": "5m",
  "sync": {
    "time": {
      "field": "order_date",
      "delay": "60s"
    }
  },
  "retention_policy": {
    "time": {
      "field": "order_date",
      "max_age": "30d"
    }
  }
}

При создании преобразования вы получите следующие результаты:

{
  "acknowledged" : true
}

Следующее преобразование использует метод latest:

PUT _transform/ecommerce_transform2
{
  "source": {
    "index": "kibana_sample_data_ecommerce"
  },
  "latest": {
    "unique_key": ["customer_id"],
    "sort": "order_date"
  },
  "description": "Latest order for each customer",
  "dest": {
    "index": "kibana_sample_data_ecommerce_transform2"
  },
  "frequency": "5m",
  "sync": {
    "time": {
      "field": "order_date",
      "delay": "60s"
    }
  }
}