27.3.9.1 LLM Class — MySQL 9.2

27.3.9.1 Класс LLM

Этот класс представляет собой большую языковую модель. Члены, доступные из экземпляров этого класса, перечислены здесь:

name (String): Название модели
options (Object): Параметры конфигурации модели
isLoaded (Boolean): true, если модель загружена, false, если нет

Конструктор класса:

LLM LLM(name, options)

Аргументы

name: название модели
options (Object) (по умолчанию {}): объект, содержащий параметры, используемые этим экземпляром

Тип возвращаемого значения

Экземпляр LLM

Использование

let model = MLL("cohere.command", {max_tokens: 10})

LLM.unload()

Разгружает модель, загруженную в конструкторе. Это необязательно, но рекомендуется, так как это может уменьшить использование памяти; после разгрузки любая последующая попытка использовать экземпляр вызывает ошибку.

Аргументы

None

Тип возвращаемого значения

undefined

Использование

```
model.unload()
```

LLM.generate()

Этот метод работает как обёртка для ML_GENERATE и генерирует ответ, используя предоставленный запрос и параметры для загруженной модели.

Аргументы

prompt (String): запрос для генерации текста
options (Object) (по умолчанию {}): объект, содержащий параметры, используемые этим экземпляром; см. описание ML_GENERATE для доступных параметров

Тип возвращаемого значения

Object: Структура аналогична структуре ML_GENERATE.

Использование

let response = model.generate("What is MySql?", {"top_k": 2, "task": "generation"})

LLM.embed()

Этот метод является оболочкой для ML_EMBED_ROW и генерирует вложение, тип которого соответствует MySQL VECTOR типа.

Аргументы

query (String): Текст запроса, подлежащий вложению
options (Object) (необязательно; по умолчанию {}): объект, содержащий параметры, используемые для вложения; см. описание ML_EMBED_ROW для доступных параметров

Тип возвращаемого значения

Float32Array (MySQL VECTOR): Вложение

Использование

let embedding = model.embed("What is MySql?")

LLM.rag()

Этот метод выполняет Усиление извлечения с помощью запроса для заданного запроса с использованием загруженной модели genAI, работая как обёртка для ML_RAG.

Аргументы

query (String): Текст запроса, используемый для генерации
options (Объект) (по умолчанию {}): Параметры, используемые для генерации; они следуют тем же правилам, что и параметры, используемые с LLM.generate()

Тип возвращаемого значения

Object: Структура аналогична структуре объекта, возвращаемого ML_RAG.

Использование

let result = model.rag("What is MySql?", {schema: ["vector_store"], n_citations: 1})