API для исследования графов

API для исследования графов позволяет извлекать и обобщать информацию о документах и терминах в потоке данных или индексе Elasticsearch.

Самый простой способ понять поведение этого API — использовать графический интерфейс (Graph UI) для исследования связей. Вы можете просмотреть последний запрос, отправленный на _explore конечную точку, в панели Последний запрос. Для получения дополнительной информации, см. Начало работы с Graph.

Для дополнительной информации о работе с API для исследования графов, ознакомьтесь с разделами Graph по устранению неполадок и ограничениями.

POST <target>/_graph/explore

Начальный запрос к API _explore содержит запрос-семя, который идентифицирует интересующие документы и указывает поля, определяющие вершины и связи, которые вы хотите включить в граф. Последующие запросы _explore позволяют вам распространять поиск от одной или нескольких интересующих вершин. Вы можете исключить вершины, которые уже были возвращены.

Поиск обычно начинается с запроса для идентификации тесно связанных терминов.

resp = client.graph.explore(
    index="clicklogs",
    query={
        "match": {
            "query.raw": "midi"
        }
    },
    vertices=[
        {
            "field": "product"
        }
    ],
    connections={
        "vertices": [
            {
                "field": "query.raw"
            }
        ]
    },
)
print(resp)

const response = await client.graph.explore({
  index: "clicklogs",
  query: {
    match: {
      "query.raw": "midi",
    },
  },
  vertices: [
    {
      field: "product",
    },
  ],
  connections: {
    vertices: [
      {
        field: "query.raw",
      },
    ],
  },
});
console.log(response);

POST clicklogs/_graph/explore
{
  "query": {                  
    "match": {
      "query.raw": "midi"
    }
  },
  "vertices": [               
    {
      "field": "product"
    }
  ],
  "connections": {            
    "vertices": [
      {
        "field": "query.raw"
      }
    ]
  }
}

Ответ от API для исследования графов выглядит следующим образом:

{
   "took": 0,
   "timed_out": false,
   "failures": [],
   "vertices": [ 
      {
         "field": "query.raw",
         "term": "midi cable",
         "weight": 0.08745858139552132,
         "depth": 1
      },
      {
         "field": "product",
         "term": "8567446",
         "weight": 0.13247784285434397,
         "depth": 0
      },
      {
         "field": "product",
         "term": "1112375",
         "weight": 0.018600718471158982,
         "depth": 0
      },
      {
         "field": "query.raw",
         "term": "midi keyboard",
         "weight": 0.04802242866755111,
         "depth": 1
      }
   ],
   "connections": [ 
      {
         "source": 0,
         "target": 1,
         "weight": 0.04802242866755111,
         "doc_count": 13
      },
      {
         "source": 2,
         "target": 3,
         "weight": 0.08120623870976627,
         "doc_count": 23
      }
   ]
}

Параметры по умолчанию настроены для удаления шумных данных и получения «общей картины» из ваших данных. В этом примере показано, как указать дополнительные параметры для влияния на построение графа.

Советы по настройке параметров для более подробной экспертной оценки, где каждый документ может быть интересен, см. в руководстве по устранению неполадок.

resp = client.graph.explore(
    index="clicklogs",
    query={
        "match": {
            "query.raw": "midi"
        }
    },
    controls={
        "use_significance": False,
        "sample_size": 2000,
        "timeout": 2000,
        "sample_diversity": {
            "field": "category.raw",
            "max_docs_per_value": 500
        }
    },
    vertices=[
        {
            "field": "product",
            "size": 5,
            "min_doc_count": 10,
            "shard_min_doc_count": 3
        }
    ],
    connections={
        "query": {
            "bool": {
                "filter": [
                    {
                        "range": {
                            "query_time": {
                                "gte": "2015-10-01 00:00:00"
                            }
                        }
                    }
                ]
            }
        },
        "vertices": [
            {
                "field": "query.raw",
                "size": 5,
                "min_doc_count": 10,
                "shard_min_doc_count": 3
            }
        ]
    },
)
print(resp)

const response = await client.graph.explore({
  index: "clicklogs",
  query: {
    match: {
      "query.raw": "midi",
    },
  },
  controls: {
    use_significance: false,
    sample_size: 2000,
    timeout: 2000,
    sample_diversity: {
      field: "category.raw",
      max_docs_per_value: 500,
    },
  },
  vertices: [
    {
      field: "product",
      size: 5,
      min_doc_count: 10,
      shard_min_doc_count: 3,
    },
  ],
  connections: {
    query: {
      bool: {
        filter: [
          {
            range: {
              query_time: {
                gte: "2015-10-01 00:00:00",
              },
            },
          },
        ],
      },
    },
    vertices: [
      {
        field: "query.raw",
        size: 5,
        min_doc_count: 10,
        shard_min_doc_count: 3,
      },
    ],
  },
});
console.log(response);

POST clicklogs/_graph/explore
{
  "query": {
    "match": {
      "query.raw": "midi"
    }
  },
  "controls": {
    "use_significance": false,        
    "sample_size": 2000,              
    "timeout": 2000,                  
    "sample_diversity": {             
      "field": "category.raw",
      "max_docs_per_value": 500
    }
  },
  "vertices": [
    {
      "field": "product",
      "size": 5,                      
      "min_doc_count": 10,            
      "shard_min_doc_count": 3        
    }
  ],
  "connections": {
    "query": {                        
      "bool": {
        "filter": [
          {
            "range": {
              "query_time": {
                "gte": "2015-10-01 00:00:00"
              }
            }
          }
        ]
      }
    },
    "vertices": [
      {
        "field": "query.raw",
        "size": 5,
        "min_doc_count": 10,
        "shard_min_doc_count": 3
      }
    ]
  }
}

После начального поиска вы обычно хотите выбрать вершины, которые вас интересуют, и увидеть, какие дополнительные вершины с ними связаны. В терминологии графов эта операция называется "паутинированием". Отправляя серию запросов, вы можете постепенно построить граф связанной информации.

Для паутинирования вам нужно указать две вещи:

Вы указываете эту информацию с помощью include и exclude пунктов. Например, следующий запрос начинается с продукта 1854873 и паутинирует, чтобы найти дополнительные поисковые термины, связанные с этим продуктом. Термины "midi", "midi keyboard" и "synth" исключаются из результатов.

resp = client.graph.explore(
    index="clicklogs",
    vertices=[
        {
            "field": "product",
            "include": [
                "1854873"
            ]
        }
    ],
    connections={
        "vertices": [
            {
                "field": "query.raw",
                "exclude": [
                    "midi keyboard",
                    "midi",
                    "synth"
                ]
            }
        ]
    },
)
print(resp)

const response = await client.graph.explore({
  index: "clicklogs",
  vertices: [
    {
      field: "product",
      include: ["1854873"],
    },
  ],
  connections: {
    vertices: [
      {
        field: "query.raw",
        exclude: ["midi keyboard", "midi", "synth"],
      },
    ],
  },
});
console.log(response);

POST clicklogs/_graph/explore
{
   "vertices": [
      {
         "field": "product",
         "include": [ "1854873" ] 
      }
   ],
   "connections": {
      "vertices": [
         {
            "field": "query.raw",
            "exclude": [ 
               "midi keyboard",
               "midi",
               "synth"
            ]
         }
      ]
   }
}