deno bench

Быстрый старт

Для начала создадим файл url_bench.ts и зарегистрируем бенчмарк с помощью функции Deno.bench().

// url_bench.ts
Deno.bench("URL parsing", () => {
  new URL("https://deno.land");
});

Затем запустим бенчмарк с помощью подкоманды deno bench.

deno bench url_bench.ts
Check file:///path/to/url_bench.ts
    CPU | 12th Gen Intel(R) Core(TM) i3-12100
Runtime | Deno 2.4.2 (x86_64-unknown-linux-gnu)

file:///path/to/url_bench.ts

| benchmark     | time/iter (avg) |        iter/s |      (min … max)      |      p75 |      p99 |     p995 |
| ------------- | --------------- | ------------- | --------------------- | -------- | -------- | -------- |
| URL parsing   |        345.8 ns |     2,892,000 | (325.4 ns … 497.2 ns) | 346.9 ns | 443.2 ns | 497.2 ns |

Написание бенчмарков

Чтобы определить бенчмарк, его нужно зарегистрировать вызовом API Deno.bench. У этого API есть несколько перегруженных вариантов, обеспечивающих максимальную гибкость и позволяющих легко переключаться между ними (например, когда для отладки нужно быстро сосредоточиться на одном бенчмарке с помощью параметра only: true):

// Compact form: name and function
Deno.bench("hello world #1", () => {
  new URL("https://deno.land");
});

// Compact form: named function.
Deno.bench(function helloWorld3() {
  new URL("https://deno.land");
});

// Longer form: bench definition.
Deno.bench({
  name: "hello world #2",
  fn: () => {
    new URL("https://deno.land");
  },
});

// Similar to compact form, with additional configuration as a second argument.
Deno.bench("hello world #4", { permissions: { read: true } }, () => {
  new URL("https://deno.land");
});

// Similar to longer form, with bench function as a second argument.
Deno.bench(
  { name: "hello world #5", permissions: { read: true } },
  () => {
    new URL("https://deno.land");
  },
);

// Similar to longer form, with a named bench function as a second argument.
Deno.bench({ permissions: { read: true } }, function helloWorld6() {
  new URL("https://deno.land");
});

Асинхронные функции

Вы также можете тестировать асинхронный код, передав функцию бенчмарка, которая возвращает промис. Для этого при определении функции можно использовать ключевое слово async:

Deno.bench("async hello world", async () => {
  await 1;
});

Критические секции

Иногда в бенчмарк нужно включить код подготовки и очистки, который может исказить результаты измерений. Например, если вы хотите измерить, сколько времени требуется для чтения небольшого файла, нужно открыть файл, прочитать его, а затем закрыть. Если файл достаточно мал, время, затрачиваемое на его открытие и закрытие, может превысить время чтения самого файла.

В таких случаях можно использовать Deno.BenchContext.start и Deno.BenchContext.end, чтобы сообщить инструменту бенчмаркинга, какую критическую секцию нужно измерить. Всё, что находится за пределами секции между этими двумя вызовами, не будет учитываться при измерении.

Deno.bench("foo", async (b) => {
  // Open a file that we will act upon.
  using file = await Deno.open("a_big_data_file.txt");

  // Tell the benchmarking tool that this is the only section you want
  // to measure.
  b.start();

  // Now let's measure how long it takes to read all of the data from the file.
  await new Response(file.readable).arrayBuffer();

  // End measurement here.
  b.end();
});

Для запуска приведённого выше примера требуется флаг --allow-read: deno bench --allow-read file_reading.ts.

Группировка и базовые значения

При регистрации бенчмарк можно добавить в группу с помощью параметра Deno.BenchDefinition.group:

// url_bench.ts
Deno.bench("url parse", { group: "url" }, () => {
  new URL("https://deno.land");
});

Полезно объединить несколько тестов в одну группу и сравнить их производительность с тестом «базового уровня».

В этом примере мы проверим, насколько производителен Date.now() по сравнению с performance.now(). Для этого пометим первый тест как «базовый» с помощью параметра Deno.BenchDefinition.baseline:

// time_bench.ts
Deno.bench("Date.now()", { group: "timing", baseline: true }, () => {
  Date.now();
});

Deno.bench("performance.now()", { group: "timing" }, () => {
  performance.now();
});

deno bench time_bench.ts
    CPU | 12th Gen Intel(R) Core(TM) i3-12100
Runtime | Deno 2.4.2 (x86_64-unknown-linux-gnu)

file:///path/to/time_bench.ts

| benchmark           | time/iter (avg) |        iter/s |      (min … max)      |      p75 |      p99 |     p995 |
| ------------------- | --------------- | ------------- | --------------------- | -------- | -------- | -------- |

group timing
| Date.now()          |         44.2 ns |    22,630,000 | ( 42.3 ns …  73.4 ns) |  44.0 ns |  54.1 ns |  55.1 ns |
| performance.now()   |         59.9 ns |    16,700,000 | ( 56.0 ns …  94.8 ns) |  60.7 ns |  76.6 ns |  79.5 ns |

summary
  Date.now()
     1.35x faster than performance.now()

В одном файле можно указать несколько групп.

Запуск бенчмарков

Чтобы запустить бенчмарк, вызовите deno bench и укажите файл, содержащий функцию бенчмарка. Имя файла можно не указывать — в этом случае будут запущены все бенчмарки в текущем каталоге и его подкаталогах, соответствующие шаблону glob {*_,*.,}bench.{ts, tsx, mts, js, mjs, jsx}. Если передать каталог, будут запущены все файлы в нём, соответствующие этому шаблону.

Шаблон glob охватывает:

• файлы с именем bench.{ts, tsx, mts, js, mjs, jsx},
• файлы, заканчивающиеся на .bench.{ts, tsx, mts, js, mjs, jsx},
• или файлы, заканчивающиеся на _bench.{ts, tsx, mts, js, mjs, jsx}

# Run all benches in the current directory and all sub-directories
deno bench

# Run all benches in the util directory
deno bench util/

# Run just my_bench.ts
deno bench my_bench.ts

⚠️ Чтобы передать файлам бенчмарков дополнительные аргументы командной строки, используйте --, чтобы сообщить Deno, что оставшиеся аргументы предназначены для скриптов.

# Pass additional arguments to the bench file
deno bench my_bench.ts -- -e --foo --bar

deno bench использует ту же модель разрешений, что и deno run, поэтому, например, для записи в файловую систему во время выполнения бенчмарков потребуется --allow-write.

Полный список параметров среды выполнения для deno bench можно посмотреть в справке командной строки:

deno help bench

Фильтрация

Есть несколько способов отфильтровать запускаемые бенчмарки.

Фильтрация в командной строке

Бенчмарки можно запускать по отдельности или группами с помощью параметра командной строки --filter.

В качестве значения параметров фильтрации принимается строка или шаблон.

Предположим, имеются следующие бенчмарки:

Deno.bench({
  name: "my-bench",
  fn: () => {/* bench function zero */},
});
Deno.bench({
  name: "bench-1",
  fn: () => {/* bench function one */},
});
Deno.bench({
  name: "bench2",
  fn: () => {/* bench function two */},
});

Эта команда запустит все эти бенчмарки, поскольку в каждом из них есть слово «bench».

deno bench --filter "bench" benchmarks/

Напротив, следующая команда использует шаблон и запустит второй и третий бенчмарки.

deno bench --filter "/bench-*\d/" benchmarks/

Чтобы сообщить Deno, что вы хотите использовать шаблон, заключите фильтр в прямые косые черты, как в синтаксическом сахаре JavaScript для регулярных выражений.

Фильтрация в определении бенчмарка

В самих бенчмарках доступны два варианта фильтрации.

Исключение (пропуск этих бенчмарков)

Иногда нужно пропустить бенчмарки при определённых условиях (например, если требуется запускать бенчмарк только в Windows). Для этого в определении бенчмарка можно использовать логическое значение ignore. Если оно установлено в true, бенчмарк будет пропущен.

Deno.bench({
  name: "bench windows feature",
  ignore: Deno.build.os !== "windows",
  fn() {
    // do windows feature
  },
});

Включение (запуск только этих бенчмарков)

Иногда при поиске проблемы с производительностью в большом классе бенчмарков нужно сосредоточиться только на одном бенчмарке и временно пропустить остальные. Для этого можно использовать параметр only, чтобы указать тестовому модулю запускать только бенчмарки, для которых он установлен в true. Этот параметр можно задать для нескольких бенчмарков. Хотя по результатам запуска будет сообщено об успехе или сбое каждого бенчмарка, весь запуск бенчмарков всегда завершится ошибкой, если для какого-либо бенчмарка задан флаг only, поскольку это лишь временная мера, отключающая почти все ваши бенчмарки.

Deno.bench({
  name: "Focus on this bench only",
  only: true,
  fn() {
    // bench complicated stuff
  },
});

Вывод в формате JSON

Чтобы получить результат в формате JSON, используйте флаг --json:

deno bench my_bench.ts --json
{
  "version": 1,
  "runtime": "Deno/2.4.2 x86_64-unknown-linux-gnu",
  "cpu": "12th Gen Intel(R) Core(TM) i3-12100",
  "benches": [
    {
      "origin": "file:///path/to/my_bench.ts",
      "group": null,
      "name": "Test",
      "baseline": false,
      "results": [
        {
          "ok": {
            "n": 51,
            "min": 946.7129,
            "max": 3024.3281,
            "avg": 1241.3926823529412,
            "p75": 1174.9718,
            "p99": 3024.3281,
            "p995": 3024.3281,
            "p999": 3024.3281,
            "highPrecision": false,
            "usedExplicitTimers": false
          }
        }
      ]
    }
  ]
}

deno bench [OPTIONS] [files]... [-- [SCRIPT_ARG]...]

deno bench src/fetch_bench.ts src/signal_bench.ts

deno bench src/