Известные проблемы коннекторов

Ошибки OOM при синхронизации больших таблиц базы данных

Синхронизации после начальной синхронизации могут вызвать ошибки исчерпания памяти (OOM) при синхронизации больших таблиц базы данных. Это происходит потому, что соединители базы данных загружают и хранят идентификаторы в памяти. Для таблиц с миллионами записей это может привести к исчерпанию памяти, если у службы соединителя недостаточно оперативной памяти.

Чтобы решить эту проблему, вы можете:

Обновления с развертываний, работающих на версиях, более ранних, чем 8.9.0, могут привести к сбою задач синхронизации

Из-за ошибки отображение поля job_type будет отсутствовать после обновления с развертываний, работающих на версиях, более ранних, чем 8.9.0. Задачи синхронизации не будут отображаться в пользовательском интерфейсе Kibana (история задач), и служба соединителей не сможет запускать новые задачи синхронизации. Это произойдет только в том случае, если у вас есть предварительно запланированные задачи синхронизации.

Чтобы решить эту проблему, вы можете вручную добавить отсутствующее поле с помощью следующей команды и запустить задачу синхронизации:

resp = client.indices.put_mapping(
    index=".elastic-connectors-sync-jobs-v1",
    properties={
        "job_type": {
            "type": "keyword"
        }
    },
)
print(resp)

const response = await client.indices.putMapping({
  index: ".elastic-connectors-sync-jobs-v1",
  properties: {
    job_type: {
      type: "keyword",
    },
  },
});
console.log(response);

PUT .elastic-connectors-sync-jobs-v1/_mapping
{
  "properties": {
    "job_type": {
      "type": "keyword"
    }
  }
}

Служба соединителей не сможет выполнить синхронизацию, если соединитель пытается извлечь более 2 147 483 647 (2³¹-1) документов из источника данных

Решение — вручную разделить данные, подлежащие синхронизации, с помощью нескольких индексов поиска.

Настройка расписания может нарушиться при обновлении с версии 8.6 или более ранней.

Если вы столкнетесь с ошибкой 'custom_schedule_triggered': undefined method 'each' for nil:NilClass (NoMethodError), это означает, что миграция функции настройки расписания не удалась. Вы можете использовать следующее временное решение:

resp = client.update(
    index=".elastic-connectors",
    id="connector-id",
    doc={
        "custom_scheduling": {}
    },
)
print(resp)

const response = await client.update({
  index: ".elastic-connectors",
  id: "connector-id",
  doc: {
    custom_scheduling: {},
  },
});
console.log(response);

POST /.elastic-connectors/_update/connector-id
{
  "doc": {
    "custom_scheduling": {}
  }
}

Эта ошибка может появиться у соединителей или ползунков, которые не являются причиной проблемы. Если ошибка сохраняется, попробуйте выполнить приведенную выше команду для каждого документа в индексе .elastic-connectors.

Подключение, обновленные с версии 8.7 или более ранних, могут иметь отсутствующие поля конфигурации

Подключение, созданное до версии 8.8, иногда может отсутствовать поля конфигурации. Это известная проблема для подключения MySQL, но также может затрагивать и другие подключения.

Если самодостаточное подключение выдает ошибку Connector for <connector_id> has missing configuration fields: <field_a>, <field_b>..., вы можете исправить ошибку, вручную добавив недостающие поля конфигурации через Dev Tools. Требуются только два следующих свойства поля, остальные будут автоматически заполнены самодостаточным подключением:

Подключения Python, обновленные с 8.7.1, будут сообщать объемы документов в гигабайтах (ГБ) вместо мегабайтов (МБ)

В результате фактический объем документов будет занижен в 1024 раза.

Следующие управляемые подключения Elastic не будут корректно работать в Elastic Cloud в версии 8.9.0. Они по-прежнему доступны как самодостаточные подключения.