Поиск

Функции индекса

Попытка индексировать данные из несуществующего поля завершится ошибкой. Чтобы избежать этой проблемы, используйте соответствующее условие-предохранитель.

index("myfield", "this is a string");
index("myfield", 123);

Функция, содержащаяся в поле индекса, — это функция JavaScript, вызываемая для каждого документа в базе данных. Функция принимает документ в качестве параметра, извлекает из него данные, а затем вызывает функцию, определённую в поле index, для индексирования этих данных.

Функция index принимает три параметра, третий из которых является необязательным.

1. Первый параметр — имя поля, которое вы собираетесь использовать при запросе к индексу и которое указывается в части последующих запросов с синтаксисом Lucene. Пример приведён в следующем запросе:

   query=color:red

   Имя поля Lucene color — это первый параметр функции index.

   Параметр query можно сократить до q, поэтому запрос можно записать и так:

   q=color:red

   Если при определении имени используется специальное значение "default", указывать имя поля во время запроса не нужно. Таким образом, запрос можно упростить:

   query=red

2. Второй параметр — данные, которые требуется индексировать. При индексировании данных учитывайте следующие сведения:

   • Эти данные могут быть только строкой, числом или логическим значением. Другие типы вызовут ошибку при вызове функции индекса.

   • Если при выполнении функции возникает ошибка по этой или другой причине, документ не будет добавлен в этот поисковый индекс.

3. Третий, необязательный параметр — объект JavaScript со следующими полями:

   Функция индекса (необязательный параметр)

   • boost — число, задающее релевантность в результатах поиска. Содержимое, индексированное со значением boost больше 1, релевантнее содержимого, индексированного без значения boost. Содержимое со значением boost меньше единицы менее релевантно. Значение — положительное число с плавающей точкой. По умолчанию равно 1 (без усиления).

   • facet — создаёт фасетный индекс. См. раздел Фасетный поиск. Значения: true или false. По умолчанию — false.

   • index — определяет, индексируются ли данные и каким образом. Если задано значение false, данные нельзя использовать для поиска, но их всё ещё можно получить из индекса, если параметру store задано значение true. См. раздел Анализаторы. Значения: true или false. По умолчанию — true.

   • store — если задано значение true, значение возвращается в результатах поиска; в противном случае оно не возвращается. Значения: true или false. По умолчанию — false.

   Примечание

   Если не задать параметр store, результаты индексирования данных документа не будут возвращаться в ответе на запрос.

Пример функции поискового индекса:

function(doc) {
    index("default", doc._id);
    if (doc.min_length) {
        index("min_length", doc.min_length, {"store": true});
    }
    if (doc.diet) {
        index("diet", doc.diet, {"store": true});
    }
    if (doc.latin_name) {
        index("latin_name", doc.latin_name, {"store": true});
    }
    if (doc.class) {
        index("class", doc.class, {"store": true});
    }
}

if (doc.min_length) {
    index("min_length", doc.min_length, {"store": true});
}

if (typeof(doc.min_length) === 'number') {
    index("min_length", doc.min_length, {"store": true});
}

if (typeof(doc.min_length) !== 'undefined') {
    // The field exists, and does have a type, so we can proceed to index using it.
    ...
}

Анализаторы

Анализаторы — это настройки, определяющие способ распознавания терминов в тексте. Анализаторы могут быть полезны, если вам нужно индексировать тексты на нескольких языках.

Ниже приведён список универсальных анализаторов, поддерживаемых поиском, с их описаниями:

• classic — стандартный анализатор Lucene, версия около выпуска 3.1.

• email — похож на анализатор standard, но пытается распознавать адрес электронной почты как единый токен.

• keyword — входные данные не разбиваются на токены.

• simple — разделяет текст по символам, не являющимся буквами.

• standard — анализатор по умолчанию. Он реализует правила разбиения слов из алгоритма сегментации текста Unicode.

• whitespace — разделяет текст по пробельным символам.

Пример документа анализатора:

{
    "_id": "_design/analyzer_example",
    "indexes": {
        "INDEX_NAME": {
            "index": "function (doc) { ... }",
            "analyzer": "$ANALYZER_NAME"
        }
    }
}

{
    "_id": "_design/analyzer_example",
    "indexes": {
        "INDEX_NAME": {
            "analyzer": {
                "name": "perfield",
                "default": "english",
                "fields": {
                    "spanish": "spanish",
                    "german": "german"
                }
            },
            "index": "function (doc) { ... }"
        }
    }
}

"a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if",
"in", "into", "is", "it", "no", "not", "of", "on", "or", "such",
"that", "the", "their", "then", "there", "these", "they", "this",
"to", "was", "will", "with"

{
    "_id": "_design/stop_words_example",
    "indexes": {
        "INDEX_NAME": {
            "analyzer": {
                "name": "portuguese",
                "stopwords": [
                    "foo",
                    "bar",
                    "baz"
                ]
            },
            "index": "function (doc) { ... }"
        }
    }
}

POST /_search_analyze HTTP/1.1
Content-Type: application/json
{"analyzer":"keyword", "text":"ablanks@renovations.com"}

curl 'https://$HOST:5984/_search_analyze' -H 'Content-Type: application/json'
    -d '{"analyzer":"keyword", "text":"ablanks@renovations.com"}'

{
    "tokens": [
        "ablanks@renovations.com"
    ]
}

POST /_search_analyze HTTP/1.1
Content-Type: application/json
{"analyzer":"standard", "text":"ablanks@renovations.com"}

curl 'https://$HOST:5984/_search_analyze' -H 'Content-Type: application/json'
    -d '{"analyzer":"standard", "text":"ablanks@renovations.com"}'

{
    "tokens": [
        "ablanks",
        "renovations.com"
    ]
}

Запросы

После создания поискового индекса можно выполнять к нему запросы.

• Выполните запрос к секции с помощью: GET /$DATABASE/_partition/$PARTITION_KEY/_design/$DDOC/_search/$INDEX_NAME

• Выполните глобальный запрос с помощью: GET /$DATABASE/_design/$DDOC/_search/$INDEX_NAME

Задайте поиск с помощью параметра query.

Пример запроса к секционированному индексу с помощью HTTP:

GET /$DATABASE/_partition/$PARTITION_KEY/_design/$DDOC/_search/$INDEX_NAME?include_docs=true&query="*:*"&limit=1 HTTP/1.1
Content-Type: application/json

Пример запроса к глобальному индексу с помощью HTTP:

GET /$DATABASE/_design/$DDOC/_search/$INDEX_NAME?include_docs=true&query="*:*"&limit=1 HTTP/1.1
Content-Type: application/json

Пример запроса к секционированному индексу из командной строки:

curl https://$HOST:5984/$DATABASE/_partition/$PARTITION_KEY/_design/$DDOC/
_search/$INDEX_NAME?include_docs=true\&query="*:*"\&limit=1 \

Пример запроса к глобальному индексу из командной строки:

curl https://$HOST:5984/$DATABASE/_design/$DDOC/_search/$INDEX_NAME?
include_docs=true\&query="*:*"\&limit=1 \

POST /db/_design/ddoc/_search/searchname HTTP/1.1
Content-Type: application/json

curl 'https://$HOST:5984/db/_design/ddoc/_search/searchname' -X POST -H 'Content-Type: application/json' -d @search.json

{
    "q": "index:my query",
    "sort": "foo",
    "limit": 3
}

Синтаксис запросов

Синтаксис поисковых запросов CouchDB основан на синтаксисе Lucene. Поисковые запросы имеют форму name:value; если имя опущено, используется поле по умолчанию, как показано в следующих примерах:

Примеры выражений поисковых запросов:

// Birds
class:bird

// Animals that begin with the letter "l"
l*

// Carnivorous birds
class:bird AND diet:carnivore

// Herbivores that start with letter "l"
l* AND diet:herbivore

// Medium-sized herbivores
min_length:[1 TO 3] AND diet:herbivore

// Herbivores that are 2m long or less
diet:herbivore AND min_length:[-Infinity TO 2]

// Mammals that are at least 1.5m long
class:mammal AND min_length:[1.5 TO Infinity]

// Find "Meles meles"
latin_name:"Meles meles"

// Mammals who are herbivore or carnivore
diet:(herbivore OR omnivore) AND class:mammal

// Return all results
*:*

Запросы к нескольким полям можно логически объединять, а группы и поля — дополнительно группировать. Доступные логические операторы чувствительны к регистру: AND, +, OR, NOT и -. Диапазонные запросы можно выполнять для строк или чисел.

Для нечеткого поиска можно выполнить запрос с ~, чтобы найти термины, похожие на поисковый термин. Например, look~ находит термины book и took.

Можно изменить важность поискового термина, добавив ^ и положительное число. Это изменение делает совпадения, содержащие термин, более или менее релевантными пропорционально степени значения boost. По умолчанию используется значение 1, то есть сила совпадения не увеличивается и не уменьшается. Десятичное значение от 0 до 1 снижает важность, ослабляя силу совпадения. Значение больше единицы повышает важность, усиливая силу совпадения.

Поддерживается поиск с подстановочными знаками: для одного символа (?) и для нескольких символов (*). Например, dat? соответствует date и data, а dat* соответствует date, data, database и dates. Подстановочные знаки должны следовать после поискового термина.

Используйте *:*, чтобы вернуть все результаты.

Если поисковый запрос не содержит аргумент "group_field", ответ включает закладку. Если позднее передать эту закладку в качестве параметра URL, ответ пропустит уже просмотренные строки, что позволит быстро и просто получить следующий набор результатов.

При поиске по следующим символам необходимо использовать экранирование:

+ - && || ! ( ) { } [ ] ^ " ~ * ? : \ /

Чтобы экранировать один из этих символов, поставьте перед ним обратную косую черту (\).

Ответ на поисковый запрос содержит поле order для каждого результата. Поле order — это массив, в котором первый элемент представляет поле или поля, указанные в параметре sort. См. параметр sort. Если параметр sort не указан в запросе, поле order содержит оценку релевантности Lucene. Если используется функция «сортировка по расстоянию», описанная в разделе географический поиск, первый элемент — это расстояние от точки. Расстояние измеряется в километрах или милях.

function(doc) {
    index("type", doc.type, {"facet": true});
    index("price", doc.price, {"facet": true});
}

if (typeof doc.town == "string" && typeof doc.name == "string") {
    index("town", doc.town, {facet: true});
    index("name", doc.name, {facet: true});
   }

?q=*:*&counts=["type"]

{
    "total_rows":100000,
    "bookmark":"g...",
    "rows":[...],
    "counts":{
        "type":{
            "sofa": 10,
            "chair": 100,
            "lamp": 97
        }
    }
}

GET /things/_design/inventory/_search/fruits?q=*:*&drilldown=["state","old"]&drilldown=["item","apple"]&include_docs=true HTTP/1.1

GET /things/_design/inventory/_search/fruits?q=*:*&drilldown=[["state","old"],["item","apple"]]&include_docs=true HTTP/1.1

?q=*:*&ranges={"price":{"cheap":"[0 TO 100]","expensive":"{100 TO Infinity}"}}

{
    "total_rows":100000,
    "bookmark":"g...",
    "rows":[...],
    "ranges": {
        "price": {
            "expensive": 278682,
            "cheap": 257023
        }
    }
}

Географический поиск

Помимо поиска по содержимому текстовых полей, вы также можете сортировать результаты по расстоянию от географических координат, используя встроенные в Lucene возможности геопространственного поиска.

Чтобы сортировать результаты таким образом, необходимо индексировать два числовых поля, представляющих долготу и широту.

Затем можно выполнить запрос, используя специальное поле сортировки <distance...>, которое принимает пять параметров:

• Имя поля долготы: имя поля долготы (mylon в примере).

• Имя поля широты: имя поля широты (mylat в примере).

• Долгота исходной точки: долгота места, от которого нужно вычислить расстояние для сортировки.

• Широта исходной точки: широта места, от которого нужно вычислить расстояние для сортировки.

• Единицы измерения: используемые единицы измерения: km для километров или mi для миль. Расстояние возвращается в поле порядка.

Можно сочетать сортировку по расстоянию с любым другим поисковым запросом, например с поиском по диапазону широты и долготы или с запросами, использующими негеографические данные.

Таким образом, можно искать в ограничивающем прямоугольнике и уточнять результаты с помощью дополнительных критериев.

Пример географических данных:

{
    "name":"Aberdeen, Scotland",
    "lat":57.15,
    "lon":-2.15,
    "type":"city"
}

Пример документа дизайна, содержащего поисковый индекс для географических данных:

function(doc) {
    if (doc.type && doc.type == 'city') {
        index('city', doc.name, {'store': true});
        index('lat', doc.lat, {'store': true});
        index('lon', doc.lon, {'store': true});
    }
}

Пример HTTP-запроса для сортировки городов Северного полушария по расстоянию до Нью-Йорка:

GET /examples/_design/cities-designdoc/_search/cities?q=lat:[0+TO+90]&sort="<distance,lon,lat,-74.0059,40.7127,km>" HTTP/1.1

Пример запроса командной строки для сортировки городов Северного полушария по расстоянию до Нью-Йорка:

curl 'https://$HOST:5984/examples/_design/cities-designdoc/_search/cities?q=lat:[0+TO+90]&sort="<distance,lon,lat,-74.0059,40.7127,km>"'

Пример (сокращённого) ответа со списком городов Северного полушария, отсортированных по расстоянию до Нью-Йорка:

{
    "total_rows": 205,
    "bookmark": "g1A...XIU",
    "rows": [
        {
            "id": "city180",
            "order": [
                8.530665755719783,
                18
            ],
            "fields": {
                "city": "New York, N.Y.",
                "lat": 40.78333333333333,
                "lon": -73.96666666666667
            }
        },
        {
            "id": "city177",
            "order": [
                13.756343205985946,
                17
            ],
            "fields": {
                "city": "Newark, N.J.",
                "lat": 40.733333333333334,
                "lon": -74.16666666666667
            }
        },
        {
            "id": "city178",
            "order": [
                113.53603438866077,
                26
            ],
            "fields": {
                "city": "New Haven, Conn.",
                "lat": 41.31666666666667,
                "lon": -72.91666666666667
            }
        }
    ]
}

Подсветка поисковых терминов

Иногда полезно получить контекст, в котором упоминается поисковый термин, чтобы показывать пользователю более наглядные результаты.

Чтобы получить более наглядные результаты, добавьте параметр highlight_fields к поисковому запросу. Укажите имена полей, для которых нужны фрагменты текста с подсвеченным поисковым термином.

По умолчанию поисковый термин помещается в теги <em> для подсветки, но подсветку можно изменить с помощью параметров highlights_pre_tag и highlights_post_tag.

По умолчанию длина фрагментов составляет 100 символов. Другую длину можно задать с помощью параметра highlights_size.

Параметр highlights_number управляет количеством возвращаемых фрагментов; по умолчанию возвращается 1 фрагмент.

В ответ добавляется поле highlights с отдельным подполем для каждого имени поля.

Для каждого поля возвращается массив фрагментов с подсвеченным поисковым термином.

Пример HTTP-запроса для поиска с включённой подсветкой:

GET /movies/_design/searches/_search/movies?q=movie_name:Azazel&highlight_fields=["movie_name"]&highlight_pre_tag="**"&highlight_post_tag="**"&highlights_size=30&highlights_number=2 HTTP/1.1
Authorization: ...

Пример поиска с включённой подсветкой из командной строки:

curl "https://$HOST:5984/movies/_design/searches/_search/movies?q=movie_name:Azazel&highlight_fields=\[\"movie_name\"\]&highlight_pre_tag=\"**\"&highlight_post_tag=\"**\"&highlights_size=30&highlights_number=2

Пример результатов поиска с подсветкой:

{
    "highlights": {
        "movie_name": [
            " on the Azazel Orient Express",
            " Azazel manuals, you"
        ]
    }
}