Динамические шаблоны

Если предоставленное отображение содержит фрагмент некорректного отображения, возвращается ошибка проверки. Проверка происходит при применении динамического шаблона во время индексации и, в большинстве случаев, при обновлении динамического шаблона. Предоставление некорректного фрагмента отображения может привести к сбою обновления или проверки динамического шаблона в определенных условиях:

Шаблоны обрабатываются в порядке — первый соответствующий шаблон выигрывает. При добавлении новых динамических шаблонов через API обновления отображения все существующие шаблоны перезаписываются. Это позволяет переупорядочивать или удалять динамические шаблоны после их первоначального добавления.

Если вы хотите, чтобы Elasticsearch динамически отображал новые поля определенного типа как поля runtime, установите "dynamic":"runtime" в отображениях индекса. Эти поля не индексируются и загружаются из _source во время запроса.

В качестве альтернативы, вы можете использовать стандартные правила динамического отображения, а затем создать динамические шаблоны для отображения определенных полей как полей runtime. Установите "dynamic":"true" в вашем отображении индекса, а затем создайте динамический шаблон для отображения новых полей определенного типа как полей runtime.

Предположим, у вас есть данные, где каждое поле начинается с ip_. Основываясь на правилах динамического отображения, Elasticsearch отображает любые string, которые проходят проверку numeric, как float или long. Однако, вы можете создать динамический шаблон, отображающий новые строки как поля runtime типа ip.

Следующий запрос определяет динамический шаблон с именем strings_as_ip. Когда Elasticsearch обнаруживает новые поля string, соответствующие шаблону ip*, он отображает эти поля как поля runtime типа ip. Поскольку поля ip не отображаются динамически, вы можете использовать этот шаблон с "dynamic":"true" или "dynamic":"runtime".

PUT my-index-000001/
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_ip": {
          "match_mapping_type": "string",
          "match": "ip*",
          "runtime": {
            "type": "ip"
          }
        }
      }
    ]
  }
}

См. пример о том, как использовать динамические шаблоны для отображения полей string как индексированных полей или полей runtime.

Тип данных match_mapping_type определяется парсером JSON. Поскольку JSON не различает long от integer или double от float, любое проанализированное число с плавающей запятой считается типом данных JSON double, а любое проанализированное целое число считается типом данных long.

Elasticsearch автоматически определяет следующие типы данных:

Используйте символ подстановки (*) для соответствия всем типам данных.

Например, если мы хотим сопоставить все целочисленные поля как integer вместо long, и все поля string как text и keyword, мы можем использовать следующий шаблон:

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "integers": {
          "match_mapping_type": "long",
          "mapping": {
            "type": "integer"
          }
        }
      },
      {
        "strings": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "text",
            "fields": {
              "raw": {
                "type":  "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    ]
  }
}

PUT my-index-000001/_doc/1
{
  "my_integer": 5, 
  "my_string": "Some string" 
}

Параметр match использует шаблон для сопоставления с именем поля, а unmatch использует шаблон для исключения полей, сопоставленных match.

Параметр match_pattern настраивает поведение параметра match для поддержки полного соответствия с использованием регулярных выражений Java на имени поля вместо простых подстановочных знаков. Например:

  "match_pattern": "regex",
  "match": "^profit_\d+$"

Следующий пример сопоставляет все поля string, имена которых начинаются с long_ (кроме тех, которые заканчиваются на _text), и сопоставляет их как поля long:

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "longs_as_strings": {
          "match_mapping_type": "string",
          "match":   "long_*",
          "unmatch": "*_text",
          "mapping": {
            "type": "long"
          }
        }
      }
    ]
  }
}

PUT my-index-000001/_doc/1
{
  "long_num": "5", 
  "long_text": "foo" 
}

Параметры path_match и path_unmatch работают так же, как и match и unmatch, но работают с полным составным именем поля, а не только с последним именем, например, some_object.*.some_field.

Этот пример копирует значения любых полей в объекте name в поле верхнего уровня full_name, за исключением поля middle:

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "full_name": {
          "path_match":   "name.*",
          "path_unmatch": "*.middle",
          "mapping": {
            "type":       "text",
            "copy_to":    "full_name"
          }
        }
      }
    ]
  }
}

PUT my-index-000001/_doc/1
{
  "name": {
    "first":  "John",
    "middle": "Winston",
    "last":   "Lennon"
  }
}

Обратите внимание, что параметры path_match и path_unmatch соответствуют путям объектов помимо самих полей. Например, индексирование следующего документа приведёт к ошибке, поскольку настройка path_match также сопоставляется с полем объекта name.title, которое не может быть сопоставлено как строка:

PUT my-index-000001/_doc/2
{
  "name": {
    "first":  "Paul",
    "last":   "McCartney",
    "title": {
      "value": "Sir",
      "category": "order of chivalry"
    }
  }
}

Подстановки {name} и {dynamic_type} заменяются в mapping именем поля и обнаруженным динамическим типом. Следующий пример назначает всем строковым полям analyzer с тем же именем, что и поле, и отключает doc_values для всех полей, не являющихся строками:

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "named_analyzers": {
          "match_mapping_type": "string",
          "match": "*",
          "mapping": {
            "type": "text",
            "analyzer": "{name}"
          }
        }
      },
      {
        "no_doc_values": {
          "match_mapping_type":"*",
          "mapping": {
            "type": "{dynamic_type}",
            "doc_values": false
          }
        }
      }
    ]
  }
}

PUT my-index-000001/_doc/1
{
  "english": "Some English text", 
  "count":   5 
}

Ниже приведены примеры потенциально полезных динамических шаблонов:

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_text": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "text"
          }
        }
      }
    ]
  }
}

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "runtime": {}
        }
      }
    ]
  }
}

PUT my-index-000001/_doc/1
{
  "english": "Some English text",
  "count":   5
}

GET my-index-000001/_mapping

{
  "my-index-000001" : {
    "mappings" : {
      "dynamic_templates" : [
        {
          "strings_as_keywords" : {
            "match_mapping_type" : "string",
            "runtime" : { }
          }
        }
      ],
      "runtime" : {
        "english" : {
          "type" : "keyword"
        }
      },
      "properties" : {
        "count" : {
          "type" : "long"
        }
      }
    }
  }
}

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "text",
            "norms": false,
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    ]
  }
}

PUT my-index-000001
{
  "mappings": {
    "dynamic_templates": [
      {
        "unindexed_longs": {
          "match_mapping_type": "long",
          "mapping": {
            "type": "long",
            "index": false
          }
        }
      },
      {
        "unindexed_doubles": {
          "match_mapping_type": "double",
          "mapping": {
            "type": "float", 
            "index": false
          }
        }
      }
    ]
  }
}