PartitionSupervisor

Надзиратель, который запускает несколько партиций одного и того же дочернего процесса.

В крупных системах некоторые процессы могут стать узкими местами. Если состояние этих процессов можно тривиально разбить на части (при отсутствии зависимостей между ними), то они могут использовать PartitionSupervisor для создания нескольких изолированных и независимых партиций.

После запуска PartitionSupervisor можно отправлять сообщения дочерним процессам, используя {:via, PartitionSupervisor, {name, key}}, где name — имя PartitionSupervisor, а ключ используется для маршрутизации.

Простой пример

Начнём с примера, который сам по себе бесполезен, но демонстрирует, как запускаются партиции и как сообщения маршрутизируются к ним.

Вот игрушечный GenServer, который просто собирает полученные сообщения. Он выводит их для наглядности.

defmodule Collector do
  use GenServer

  def start_link(args) do
    GenServer.start_link(__MODULE__, args)
  end

  def init(args) do
    IO.inspect [__MODULE__, " got args ", args, " in ", self()]
    {:ok, _initial_state = []}
  end

  def collect(server, msg) do
    GenServer.call(server, {:collect, msg})
  end

  def handle_call({:collect, msg}, _from, state) do
    new_state = [msg | state]
    IO.inspect ["current messages:", new_state, " in process", self()]
    {:reply, :ok, new_state}
  end
end

Для запуска нескольких таких процессов можно запустить их под PartitionSupervisor, разместив это в дереве контроля:

{PartitionSupervisor,
  child_spec: Collector.child_spec([some: :arg]),
  name: MyApp.PartitionSupervisor
}

Мы можем отправлять сообщения к ним, используя «кортеж в качестве адресата»:

# The key is used to route our message to a particular instance.
key = 1
Collector.collect({:via, PartitionSupervisor, {MyApp.PartitionSupervisor, key}}, :hi)
# ["current messages:", [:hi], " in process", #PID<0.602.0>]
:ok
Collector.collect({:via, PartitionSupervisor, {MyApp.PartitionSupervisor, key}}, :ho)
# ["current messages:", [:ho, :hi], " in process", #PID<0.602.0>]
:ok

# With a different key, the message will be routed to a different instance.
key = 2
Collector.collect({:via, PartitionSupervisor, {MyApp.PartitionSupervisor, key}}, :a)
# ["current messages:", [:a], " in process", #PID<0.603.0>]
:ok
Collector.collect({:via, PartitionSupervisor, {MyApp.PartitionSupervisor, key}}, :b)
# ["current messages:", [:b, :a], " in process", #PID<0.603.0>]
:ok

Теперь перейдём к полезному примеру.

DynamicSupervisor Пример

DynamicSupervisor — это единственный процесс, ответственный за запуск других процессов. В некоторых приложениях DynamicSupervisor может стать узким местом. Для решения этой проблемы вы можете запустить несколько экземпляров DynamicSupervisor через PartitionSupervisor и затем выбрать «случайный» экземпляр для запуска дочернего процесса.

Вместо запуска одного DynamicSupervisor:

children = [
  {DynamicSupervisor, name: MyApp.DynamicSupervisor}
]

Supervisor.start_link(children, strategy: :one_for_one)

и запуска дочерних процессов на этом динамическом надзирателе напрямую:

DynamicSupervisor.start_child(MyApp.DynamicSupervisor, {Agent, fn -> %{} end})

Можно запустить динамических надзирателей под PartitionSupervisor:

children = [
  {PartitionSupervisor,
   child_spec: DynamicSupervisor,
   name: MyApp.DynamicSupervisors}
]

Supervisor.start_link(children, strategy: :one_for_one)

и затем:

DynamicSupervisor.start_child(
  {:via, PartitionSupervisor, {MyApp.DynamicSupervisors, self()}},
  {Agent, fn -> %{} end}
)

В приведенном коде мы запускаем надзирателя партиций, который по умолчанию запустит динамического надзирателя для каждого ядра вашего компьютера. Затем вместо вызова DynamicSupervisor по имени, вы вызываете его через надзирателя партиций, используя формат {:via, PartitionSupervisor, {name, key}}. Мы выбрали self() в качестве ключа маршрутизации, что означает, что каждому процессу будет назначен один из существующих динамических надзирателей. См. start_link/1, чтобы увидеть все поддерживаемые варианты PartitionSupervisor.

Примечания по реализации

PartitionSupervisor использует таблицу ETS или Registry для управления всеми партициями. Под капотом PartitionSupervisor генерирует спецификацию дочернего процесса для каждой партиции и затем действует как обычный надзиратель. Идентификатор каждой спецификации дочернего процесса — номер партиции.

Для маршрутизации используются две стратегии. Если key — целое число, оно маршрутизируется с использованием rem(abs(key), partitions), где partitions — число партиций. В противном случае используется :erlang.phash2(key, partitions). Конкретная маршрутизация может измениться в будущем, поэтому на ней не следует полагаться. Если вам нужно получить определённый PID для определённого ключа, можно использовать GenServer.whereis({:via, PartitionSupervisor, {name, key}}).