Учебник: Обработка естественного языка (NLP)

Это руководство посвящено конкретной задаче: загрузке обученной модели машинного обучения в Elasticsearch и настройке для обогащения ваших документов.

Elasticsearch поддерживает множество способов использования моделей машинного обучения. В этом руководстве мы будем использовать обученную модель для обогащения документов во время загрузки с использованием конвейеров загрузки, настроенных в пользовательском интерфейсе Контента Kibana.

В этом руководстве мы добьемся вышеперечисленного, выполнив следующие шаги:

Следуйте инструкциям, чтобы загрузить модель классификации текста и настроить её для обогащения данных комментариев к фотографиям. После того, как вы освоите эти шаги, используйте это руководство в качестве схемы для работы с другими обученными моделями машинного обучения.

Оглавление:

Ваше развертывание потребует экземпляра машинного обучения для загрузки и развертывания обученных моделей.

Если у вашей команды уже есть развертывание Elastic Cloud, убедитесь, что оно имеет как минимум один экземпляр машинного обучения. Если нет, Изменить ваше развертывание, чтобы добавить ёмкость. Для этого учебника нам потребуется как минимум 2 ГБ оперативной памяти на одном экземпляре машинного обучения.

Если у вашей команды нет развертывания Elastic Cloud, начните с регистрации на бесплатной пробной версии Elastic Cloud. После создания учётной записи у вас будет активная подписка, и вы получите запрос на создание первого развертывания.

Выполните шаги по Созданию нового развертывания. Убедитесь, что вы добавили ёмкость в Экземпляры машинного обучения в Дополнительные настройки перед созданием развертывания. Для упрощения масштабирования включите функцию Автомасштабировать это развертывание. Если вы используете автомасштабирование, вы должны увеличить минимальный объём ОЗУ для экземпляра машинного обучения. Для этого учебника нам потребуется как минимум 2 ГБ ОЗУ. Для получения дополнительной информации см. Создать развертывание в документации Elastic Cloud.

Обогащение документов с помощью машинного обучения было добавлено в Enterprise Search 8.5.0, поэтому убедитесь, что вы используете версию 8.5.0 или более позднюю.

Инструмент Elastic Eland упрощает загрузку обученных моделей в ваше развертывание через Docker.

Eland — это специализированный клиент Elasticsearch для изучения и обработки данных, который мы можем использовать для загрузки обученных моделей в Elasticsearch.

Для клонирования и сборки Eland с использованием Docker выполните следующие команды:

git clone git@github.com:elastic/eland.git
cd eland
docker build -t elastic/eland .

Теперь, когда у вас есть развертывание и способ загрузки моделей, вам нужно выбрать обученную модель, соответствующую вашим данным. Hugging Face имеет большой репозиторий общедоступных обученных моделей. Модель, которую вы выберете, будет зависеть от ваших данных и того, что вы хотите с ними сделать.

Для целей этого руководства предположим, что у нас есть набор данных комментариев к фотографиям. Чтобы создать позитивную атмосферу на нашей платформе, мы хотели бы, чтобы первые несколько комментариев к каждой фотографии были позитивными. Для этой задачи модель distilbert-base-uncased-finetuned-sst-2-english хорошо подходит.

Для загрузки этой модели в ваше развертывание вам нужны некоторые данные:

Теперь мы можем загрузить выбранную модель в Elasticsearch, предоставив эти параметры Eland.

docker run -it --rm --network host \
    elastic/eland \
    eland_import_hub_model \
      --url https://ml-test.es.us-west1.gcp.cloud.es.io:443 \
      -u elastic -p <PASSWORD> \
      --hub-model-id distilbert-base-uncased-finetuned-sst-2-english \
      --task-type text_classification \
      --start

Этот скрипт должен выполняться примерно 2-3 минуты. После успешного развертывания модели на ваше облачное развертывание, перейдите на страницу Обученные модели Kibana, чтобы убедиться, что она готова. Вы можете найти эту страницу в меню Машинное обучение > Аналитика, а затем Обученные модели > Управление моделями. Если вы не видите свою модель в списке, вам может потребоваться нажать Синхронизировать ваши задачи и обученные модели. Ваша модель готова к использованию.

Теперь мы готовы использовать пользовательский интерфейс Контента Kibana для обогащения наших документов данными вывода. Прежде чем загружать комментарии к фотографиям в Elasticsearch, мы сначала создадим конвейер вывода ML. Конвейер будет обогащать входящие комментарии к фотографиям данными вывода, показывающими, являются ли комментарии позитивными.

Предположим, что наши комментарии к фотографиям выглядят так, когда они загружаются как документ в Elasticsearch:

{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  ...
}

Мы хотим пропустить наши документы через обработчик вывода, который использует обученную модель, которую мы загрузили, чтобы определить, являются ли комментарии позитивными. Для этого мы сначала должны настроить индекс Elasticsearch.

Для настройки конвейера вывода ML нам нужен индекс с существующей структурой отображения, чтобы мы могли выбрать, какой поле анализировать. Это можно сделать через API структуры отображения индекса в Kibana Dev Tools или просто с помощью команды cURL:

PUT search-photo-comments/_mapping
{
  "properties": {
    "photo_id": { "type": "keyword" },
    "body": { "type": "text" }
  }
}

Теперь пришло время создать конвейер вывода.

Далее, мы добавим конвейер вывода.

Вы также можете запустить примерные документы через симулятор и проверить конвейер перед его созданием.

На этом всё готово к обогащению документов во время индексирования.

Из консоли разработчика Kibana или просто с помощью команды cURL, мы можем индексировать документ. Мы будем использовать флаг _run_ml_inference, чтобы указать конвейеру search-photo-comments на запуск специфичной для индекса ML-инференсной конвейерной обработки, которую мы создали. Это поле не будет индексировано в документе.

POST search-photo-comments/_doc/my-new-doc?pipeline=search-photo-comments
{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  "_run_ml_inference": true
}

После индексирования документа, используйте API для его извлечения и просмотра обогащённых данных.

GET search-photo-comments/_doc/my-new-doc

{
  "_index": "search-photo-comments",
  "_id": "_MQggoQBKYghsSwHbDvG",
  ...
  "_source": {
    ...
    "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
    "body": "your dog is so cute!",
    "ml": {
      "inference": {
        "positivity_result": {
          "predicted_value": "POSITIVE",
          "prediction_probability": 0.9998022925461774,
          "model_id": "distilbert-base-uncased-finetuned-sst-2-english"
        }
      }
    }
  }
}

Документ имеет новые поля с обогащёнными данными. Поле ml.inference.positivity_result — это объект с результатами анализа от машинной обучающей модели. Модель предсказала с 99,98% уверенностью, что проанализированный текст позитивный.

Отсюда мы можем создавать запросы поиска, чтобы усиливать ml.inference.positivity_result.predicted_value. Это поле также будет сохранено в верхнем уровневом поле positivity_result, если модель была достаточно уверена.

В этом руководстве мы рассмотрели, как: