Учебник: Преобразование образцовых данных электронной коммерции

Выберите свой исходный индекс.

В этом примере мы будем использовать примерные данные о заказах электронной коммерции. Если вы ещё не знакомы с индексом kibana_sample_data_ecommerce, используйте панель Доходы в Kibana для изучения данных. Подумайте, какие выводы вы хотели бы получить из этих данных электронной коммерции.

Выберите тип преобразования сворачивания и поэкспериментируйте с различными вариантами группирования и агрегирования данных.

Существует два типа преобразований, но сначала мы попробуем свернуть ваши данные, что предполагает использование по крайней мере одного поля для группировки и применения по крайней мере одной агрегации. Вы можете предварительно просмотреть, как будут выглядеть преобразованные данные, поэтому не стесняйтесь поиграться! Вы также можете включить гистограммы, чтобы лучше понять распределение значений в ваших данных.

Например, вы можете сгруппировать данные по идентификатору продукта и рассчитать общее количество продаж для каждого продукта и его среднюю цену. Или вы можете изучить поведение отдельных клиентов и рассчитать, сколько каждый клиент потратил в общей сложности и сколько различных категорий продуктов они приобрели. Или вы можете учесть валюты или географические данные. Какие наиболее интересные способы преобразования и интерпретации этих данных?

Перейдите в Управление > Управление стеком > Данные > Преобразования в Kibana и используйте мастера для создания преобразования:

Сгруппируйте данные по идентификатору клиента и добавьте одну или несколько агрегаций, чтобы узнать больше о заказах каждого клиента. Например, давайте вычислим сумму приобретённых ими продуктов, общую стоимость их покупок, максимальное количество продуктов, приобретённых в одном заказе, и общее количество их заказов. Мы добьёмся этого, используя sum агрегацию по полям total_quantity и taxless_total_price, max агрегацию по полю total_quantity и cardinality агрегацию по полю order_id:

Если хотите, можете использовать API-превью преобразований.

resp = client.transform.preview_transform(
    source={
        "index": "kibana_sample_data_ecommerce",
        "query": {
            "bool": {
                "filter": {
                    "term": {
                        "currency": "EUR"
                    }
                }
            }
        }
    },
    pivot={
        "group_by": {
            "customer_id": {
                "terms": {
                    "field": "customer_id"
                }
            }
        },
        "aggregations": {
            "total_quantity.sum": {
                "sum": {
                    "field": "total_quantity"
                }
            },
            "taxless_total_price.sum": {
                "sum": {
                    "field": "taxless_total_price"
                }
            },
            "total_quantity.max": {
                "max": {
                    "field": "total_quantity"
                }
            },
            "order_id.cardinality": {
                "cardinality": {
                    "field": "order_id"
                }
            }
        }
    },
)
print(resp)

const response = await client.transform.previewTransform({
  source: {
    index: "kibana_sample_data_ecommerce",
    query: {
      bool: {
        filter: {
          term: {
            currency: "EUR",
          },
        },
      },
    },
  },
  pivot: {
    group_by: {
      customer_id: {
        terms: {
          field: "customer_id",
        },
      },
    },
    aggregations: {
      "total_quantity.sum": {
        sum: {
          field: "total_quantity",
        },
      },
      "taxless_total_price.sum": {
        sum: {
          field: "taxless_total_price",
        },
      },
      "total_quantity.max": {
        max: {
          field: "total_quantity",
        },
      },
      "order_id.cardinality": {
        cardinality: {
          field: "order_id",
        },
      },
    },
  },
});
console.log(response);

POST _transform/_preview
{
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  }
}

Когда вы будете удовлетворены тем, что видите в предварительном просмотре, создайте преобразование.

В Kibana, прежде чем завершить создание преобразования, вы можете скопировать запрос API преобразования предварительного просмотра в буфер обмена. Эта информация полезна позднее, когда вы решаете, хотите ли вы вручную создать целевой индекс.

Если предпочитаете, можете воспользоваться API создания преобразований.

resp = client.transform.put_transform(
    transform_id="ecommerce-customer-transform",
    source={
        "index": [
            "kibana_sample_data_ecommerce"
        ],
        "query": {
            "bool": {
                "filter": {
                    "term": {
                        "currency": "EUR"
                    }
                }
            }
        }
    },
    pivot={
        "group_by": {
            "customer_id": {
                "terms": {
                    "field": "customer_id"
                }
            }
        },
        "aggregations": {
            "total_quantity.sum": {
                "sum": {
                    "field": "total_quantity"
                }
            },
            "taxless_total_price.sum": {
                "sum": {
                    "field": "taxless_total_price"
                }
            },
            "total_quantity.max": {
                "max": {
                    "field": "total_quantity"
                }
            },
            "order_id.cardinality": {
                "cardinality": {
                    "field": "order_id"
                }
            }
        }
    },
    dest={
        "index": "ecommerce-customers"
    },
    retention_policy={
        "time": {
            "field": "order_date",
            "max_age": "60d"
        }
    },
)
print(resp)

const response = await client.transform.putTransform({
  transform_id: "ecommerce-customer-transform",
  source: {
    index: ["kibana_sample_data_ecommerce"],
    query: {
      bool: {
        filter: {
          term: {
            currency: "EUR",
          },
        },
      },
    },
  },
  pivot: {
    group_by: {
      customer_id: {
        terms: {
          field: "customer_id",
        },
      },
    },
    aggregations: {
      "total_quantity.sum": {
        sum: {
          field: "total_quantity",
        },
      },
      "taxless_total_price.sum": {
        sum: {
          field: "taxless_total_price",
        },
      },
      "total_quantity.max": {
        max: {
          field: "total_quantity",
        },
      },
      "order_id.cardinality": {
        cardinality: {
          field: "order_id",
        },
      },
    },
  },
  dest: {
    index: "ecommerce-customers",
  },
  retention_policy: {
    time: {
      field: "order_date",
      max_age: "60d",
    },
  },
});
console.log(response);

PUT _transform/ecommerce-customer-transform
{
  "source": {
    "index": [
      "kibana_sample_data_ecommerce"
    ],
    "query": {
      "bool": {
        "filter": {
          "term": {
            "currency": "EUR"
          }
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  },
  "dest": {
    "index": "ecommerce-customers"
  },
  "retention_policy": {
    "time": {
      "field": "order_date",
      "max_age": "60d"
    }
  }
}

Необязательно: создайте целевой индекс.

Если целевой индекс не существует, он создаётся при первом запуске преобразования. Преобразование сворачивания определяет соответствия для целевого индекса на основе исходных индексов и агрегаций преобразования. Если в целевом индексе есть поля, полученные из скриптов (например, если вы используете scripted_metrics или bucket_scripts агрегации), они создаются с динамическими соответствиями. Вы можете использовать API-превью преобразований для предварительного просмотра соответствий, которые он будет использовать для целевого индекса. В Kibana, если вы скопировали запрос API в буфер обмена, вставьте его в консоль, затем обратитесь к объекту generated_dest_index в ответе API.

{
  "preview" : [
    {
      "total_quantity" : {
        "max" : 2,
        "sum" : 118.0
      },
      "taxless_total_price" : {
        "sum" : 3946.9765625
      },
      "customer_id" : "10",
      "order_id" : {
        "cardinality" : 59
      }
    },
    ...
  ],
  "generated_dest_index" : {
    "mappings" : {
      "_meta" : {
        "_transform" : {
          "transform" : "transform-preview",
          "version" : {
            "created" : "8.0.0"
          },
          "creation_date_in_millis" : 1621991264061
        },
        "created_by" : "transform"
      },
      "properties" : {
        "total_quantity.sum" : {
          "type" : "double"
        },
        "total_quantity" : {
          "type" : "object"
        },
        "taxless_total_price" : {
          "type" : "object"
        },
        "taxless_total_price.sum" : {
          "type" : "double"
        },
        "order_id.cardinality" : {
          "type" : "long"
        },
        "customer_id" : {
          "type" : "keyword"
        },
        "total_quantity.max" : {
          "type" : "integer"
        },
        "order_id" : {
          "type" : "object"
        }
      }
    },
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "auto_expand_replicas" : "0-1"
      }
    },
    "aliases" : { }
  }
}

В некоторых случаях выведенные соответствия могут быть несовместимы с фактическими данными. Например, могут произойти переполнения чисел или динамически сопоставленные поля могут содержать как числа, так и строки. Чтобы избежать этой проблемы, создайте целевой индекс перед запуском преобразования. Дополнительная информация приведена в документации API создания индекса.

resp = client.indices.create(
    index="ecommerce-customers",
    mappings={
        "properties": {
            "total_quantity.sum": {
                "type": "double"
            },
            "total_quantity": {
                "type": "object"
            },
            "taxless_total_price": {
                "type": "object"
            },
            "taxless_total_price.sum": {
                "type": "double"
            },
            "order_id.cardinality": {
                "type": "long"
            },
            "customer_id": {
                "type": "keyword"
            },
            "total_quantity.max": {
                "type": "integer"
            },
            "order_id": {
                "type": "object"
            }
        }
    },
)
print(resp)

response = client.indices.create(
  index: 'ecommerce-customers',
  body: {
    mappings: {
      properties: {
        'total_quantity.sum' => {
          type: 'double'
        },
        total_quantity: {
          type: 'object'
        },
        taxless_total_price: {
          type: 'object'
        },
        'taxless_total_price.sum' => {
          type: 'double'
        },
        'order_id.cardinality' => {
          type: 'long'
        },
        customer_id: {
          type: 'keyword'
        },
        'total_quantity.max' => {
          type: 'integer'
        },
        order_id: {
          type: 'object'
        }
      }
    }
  }
)
puts response

const response = await client.indices.create({
  index: "ecommerce-customers",
  mappings: {
    properties: {
      "total_quantity.sum": {
        type: "double",
      },
      total_quantity: {
        type: "object",
      },
      taxless_total_price: {
        type: "object",
      },
      "taxless_total_price.sum": {
        type: "double",
      },
      "order_id.cardinality": {
        type: "long",
      },
      customer_id: {
        type: "keyword",
      },
      "total_quantity.max": {
        type: "integer",
      },
      order_id: {
        type: "object",
      },
    },
  },
});
console.log(response);

PUT /ecommerce-customers
{
  "mappings": {
    "properties": {
      "total_quantity.sum" : {
        "type" : "double"
      },
      "total_quantity" : {
        "type" : "object"
      },
      "taxless_total_price" : {
        "type" : "object"
      },
      "taxless_total_price.sum" : {
        "type" : "double"
      },
      "order_id.cardinality" : {
        "type" : "long"
      },
      "customer_id" : {
        "type" : "keyword"
      },
      "total_quantity.max" : {
        "type" : "integer"
      },
      "order_id" : {
        "type" : "object"
      }
    }
  }
}

Запустите преобразование.

Вы можете запускать, останавливать, сбрасывать и управлять преобразованиями в Kibana:

В качестве альтернативы вы можете воспользоваться API запуска преобразований, API остановки преобразований и API сброса преобразований.

Если вы сбросите преобразование, все контрольные точки, состояния и целевой индекс (если он был создан преобразованием) будут удалены. Преобразование готово к запуску снова, как если бы оно только что было создано.

resp = client.transform.start_transform(
    transform_id="ecommerce-customer-transform",
)
print(resp)

response = client.transform.start_transform(
  transform_id: 'ecommerce-customer-transform'
)
puts response

const response = await client.transform.startTransform({
  transform_id: "ecommerce-customer-transform",
});
console.log(response);

POST _transform/ecommerce-customer-transform/_start

Изучите данные в вашем новом индексе.

Например, используйте приложение Обзор в Kibana:

Необязательно: Создайте другой трансформирование, на этот раз используя метод latest.

Этот метод заполняет индекс назначения последними документами для каждого уникального значения ключа. Например, вы можете найти последние заказы (отсортированные по полю order_date) для каждого клиента или для каждой страны и региона.

resp = client.transform.preview_transform(
    source={
        "index": "kibana_sample_data_ecommerce",
        "query": {
            "bool": {
                "filter": {
                    "term": {
                        "currency": "EUR"
                    }
                }
            }
        }
    },
    latest={
        "unique_key": [
            "geoip.country_iso_code",
            "geoip.region_name"
        ],
        "sort": "order_date"
    },
)
print(resp)

const response = await client.transform.previewTransform({
  source: {
    index: "kibana_sample_data_ecommerce",
    query: {
      bool: {
        filter: {
          term: {
            currency: "EUR",
          },
        },
      },
    },
  },
  latest: {
    unique_key: ["geoip.country_iso_code", "geoip.region_name"],
    sort: "order_date",
  },
});
console.log(response);

POST _transform/_preview
{
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "latest": {
    "unique_key": ["geoip.country_iso_code", "geoip.region_name"],
    "sort": "order_date"
  }
}