Учебное пособие: Преобразование демонстрационных данных электронной коммерции

Выберите свой индекс источника.

В этом примере мы будем использовать образцовые данные заказов электронной коммерции. Если вы еще не знакомы с индексом kibana_sample_data_ecommerce, используйте панель Доход в Kibana для изучения данных. Подумайте, какие выводы вы хотели бы получить из этих данных электронной коммерции.

Выберите тип преобразования «поворотная таблица» и поэкспериментируйте с различными вариантами группировки и агрегирования данных.

Существует два типа преобразований, но сначала мы попробуем преобразовать ваши данные с помощью поворотной таблицы, которая включает использование по крайней мере одного поля для группировки и применение по крайней мере одной агрегации. Вы можете предварительно просмотреть, как будут выглядеть преобразованные данные, поэтому не стесняйтесь поиграть с ними! Вы также можете включить гистограммы для лучшего понимания распределения значений в ваших данных.

Например, вы можете сгруппировать данные по идентификатору продукта и рассчитать общее количество продаж для каждого продукта и его среднюю цену. В качестве альтернативы, вы можете изучить поведение отдельных клиентов и рассчитать, сколько каждый клиент потратил в общей сложности и сколько различных категорий продуктов они приобрели. Или вы можете учитывать валюты или географические данные. Каковы самые интересные способы преобразования и интерпретации этих данных?

Перейдите в Управление > Управление стеком > Данные > Преобразования в Kibana и используйте мастер для создания преобразования:

Сгруппируйте данные по идентификатору клиента и добавьте одну или несколько агрегаций, чтобы узнать больше о заказах каждого клиента. Например, давайте вычислим сумму приобретенных ими продуктов, общую стоимость их покупок, максимальное количество продуктов, которые они приобрели в одном заказе, и общее количество их заказов. Мы добьемся этого, используя агрегацию sum по полям total_quantity и taxless_total_price, агрегацию max по полю total_quantity и агрегацию cardinality по полю order_id:

Если хотите, вы можете использовать API предварительного просмотра преобразований.

POST _transform/_preview
{
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  }
}

Когда вы будете удовлетворены тем, что видите в предварительном просмотре, создайте преобразование.

В Kibana, прежде чем закончить создание преобразования, вы можете скопировать запрос API предварительного просмотра преобразования в буфер обмена. Эта информация пригодится позже, когда вы будете решать, хотите ли вы вручную создать индекс назначения.

Если хотите, вы можете использовать API создания преобразований.

PUT _transform/ecommerce-customer-transform
{
  "source": {
    "index": [
      "kibana_sample_data_ecommerce"
    ],
    "query": {
      "bool": {
        "filter": {
          "term": {
            "currency": "EUR"
          }
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  },
  "dest": {
    "index": "ecommerce-customers"
  },
  "retention_policy": {
    "time": {
      "field": "order_date",
      "max_age": "60d"
    }
  }
}

Необязательно: создайте индекс назначения.

Если индекс назначения не существует, он создаётся при первом запуске преобразования. Преобразование «поворотная таблица» выводит определения отображения для индекса назначения из исходных индексов и агрегаций преобразования. Если в индексе назначения есть поля, полученные из скриптов (например, если вы используете агрегации scripted_metrics или bucket_scripts), они создаются с помощью динамических отображений. Вы можете использовать API предварительного просмотра преобразования, чтобы предварительно просмотреть отображения, которые он будет использовать для индекса назначения. В Kibana, если вы скопировали запрос API в буфер обмена, вставьте его в консоль, а затем обратитесь к объекту generated_dest_index в ответе API.

{
  "preview" : [
    {
      "total_quantity" : {
        "max" : 2,
        "sum" : 118.0
      },
      "taxless_total_price" : {
        "sum" : 3946.9765625
      },
      "customer_id" : "10",
      "order_id" : {
        "cardinality" : 59
      }
    },
    ...
  ],
  "generated_dest_index" : {
    "mappings" : {
      "_meta" : {
        "_transform" : {
          "transform" : "transform-preview",
          "version" : {
            "created" : "8.0.0"
          },
          "creation_date_in_millis" : 1621991264061
        },
        "created_by" : "transform"
      },
      "properties" : {
        "total_quantity.sum" : {
          "type" : "double"
        },
        "total_quantity" : {
          "type" : "object"
        },
        "taxless_total_price" : {
          "type" : "object"
        },
        "taxless_total_price.sum" : {
          "type" : "double"
        },
        "order_id.cardinality" : {
          "type" : "long"
        },
        "customer_id" : {
          "type" : "keyword"
        },
        "total_quantity.max" : {
          "type" : "integer"
        },
        "order_id" : {
          "type" : "object"
        }
      }
    },
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "auto_expand_replicas" : "0-1"
      }
    },
    "aliases" : { }
  }
}

В некоторых случаях выведенные отображения могут быть несовместимы с фактическими данными. Например, могут произойти переполнения чисел или динамически отображаемые поля могут содержать как числа, так и строки. Чтобы избежать этой проблемы, создайте индекс назначения до запуска преобразования. Дополнительные сведения см. в API создания индекса.

PUT /ecommerce-customers
{
  "mappings": {
    "properties": {
      "total_quantity.sum" : {
        "type" : "double"
      },
      "total_quantity" : {
        "type" : "object"
      },
      "taxless_total_price" : {
        "type" : "object"
      },
      "taxless_total_price.sum" : {
        "type" : "double"
      },
      "order_id.cardinality" : {
        "type" : "long"
      },
      "customer_id" : {
        "type" : "keyword"
      },
      "total_quantity.max" : {
        "type" : "integer"
      },
      "order_id" : {
        "type" : "object"
      }
    }
  }
}

Запустите преобразование.

Вы можете запускать, останавливать и управлять преобразованиями в Kibana:

В качестве альтернативы можно использовать API запуска преобразований и API остановки преобразований.

POST _transform/ecommerce-customer-transform/_start

Просмотрите данные в вашем новом индексе.

Например, используйте приложение Обзор в Kibana:

Необязательно: создайте другое преобразование, на этот раз используя метод latest.

Этот метод заполняет индекс назначения последними документами для каждого уникального значения ключа. Например, вы можете найти последние заказы (отсортированные по полю order_date) для каждого клиента или для каждой страны и региона.

POST _transform/_preview
{
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "latest": {
    "unique_key": ["geoip.country_iso_code", "geoip.region_name"],
    "sort": "order_date"
  }
}