Средство запуска тестов командной строки

Тесты PHPT

Помимо классов тестов, средство запуска тестов PHPUnit также может выполнять тесты PHPT. PHPT — это простой формат тестов, используемый самим проектом PHP. Файлы с суффиксом .phpt автоматически обнаруживаются средством запуска тестов (см. параметр --test-suffix в разделе Выбор).

Это может быть полезно, например, для сквозного тестирования инструментов CLI или для добавления базовых регрессионных тестов в устаревшие кодовые базы.

Фильтрация по имени теста

Параметр --filter выбирает тесты, имена которых соответствуют шаблону:

$ ./tools/phpunit --filter testDoesSomething
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime:       PHP 8.5.3
Configuration: /path/to/project/phpunit.xml

.                                                                   1 / 1 (100%)

Time: 00:00.077, Memory: 10.00 MB

OK (1 test, 1 assertion)

Шаблон сопоставляется с полным именем теста, имеющим одну из следующих форм:

Fully\Qualified\ClassName::testMethodName
Fully\Qualified\ClassName::testMethodName with data set #0
Fully\Qualified\ClassName::testMethodName with data set "named set"

Совпадение может быть частичным (шаблон не обязан охватывать всё имя) и не привязано к началу или концу строки. Например, --filter testAdd также соответствует тесту с именем testAddress.

Тесты PHPT (см. Тесты PHPT) никогда не выбираются параметром --filter.

Параметр --exclude-filter принимает тот же синтаксис шаблонов, описанный ниже, и исключает соответствующие тесты из запуска. Его можно сочетать с --filter.

$ ./tools/phpunit --filter '/^App\\Domain\\.*Test::test/'

Фильтрация по набору тестов

Если в файле конфигурации XML определено несколько наборов тестов, можно использовать параметр --testsuite, чтобы запускать тесты только из определённого набора:

$ ./tools/phpunit --testsuite unit
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime:       PHP 8.5.3
Configuration: /path/to/project/phpunit.xml

...............                                                    15 / 15 (100%)

Time: 00:00.100, Memory: 10.00 MB

OK (15 tests, 30 assertions)

Параметр --exclude-testsuite исключает из запуска набор тестов с указанным именем.

Параметр --list-suites выводит список всех наборов тестов, определённых в файле конфигурации XML, не запуская тесты.

Фильтрация по группе

Параметр --group запускает только тесты, принадлежащие указанной группе. Группы назначаются тестам с помощью атрибута #[Group] (см. Group).

Параметр --exclude-group исключает тесты, принадлежащие указанной группе.

Фильтрация по покрываемой единице кода

Параметр --covers запускает только тесты, в которых объявлено намерение покрыть указанный класс или функцию. Параметр --uses запускает только тесты, в которых объявлено намерение использовать указанный класс или функцию.

Фильтрация по идентификатору теста

Идентификатор теста — это канонический полностью квалифицированный идентификатор отдельного теста. Он имеет одну из следующих форм:

Fully\Qualified\ClassName::testMethodName
Fully\Qualified\ClassName::testMethodName#0
Fully\Qualified\ClassName::testMethodName#named data set

Идентификаторы тестов сопоставляются строго и точно; они не являются шаблонами.

Параметр --run-test-id запускает отдельный тест, указанный заданным идентификатором:

$ ./tools/phpunit --run-test-id 'PHPUnit\TestFixture\ExampleTest::testOne#named data set'

Параметр --test-id-filter-file запускает тесты, идентификаторы которых перечислены в указанном файле, по одному идентификатору на строку. В сочетании с --list-test-ids (см. Вывод списка тестов) этот параметр позволяет организовать процесс «вывести список/отфильтровать/запустить», полезный, например, для распределения набора тестов между параллельными заданиями CI:

1. Выведите список всех идентификаторов тестов: phpunit --list-test-ids > test-ids.txt

2. Разделите файл на группы или отфильтруйте его

3. Запустите группу: phpunit --test-id-filter-file batch-1.txt

Вывод списка тестов

Параметр --list-tests выводит список всех тестов, которые были бы выполнены, но не запускает их. Это полезно для проверки того, что параметры выбора работают ожидаемым образом.

Параметр --list-test-ids выводит список всех тестов, которые были бы выполнены, в виде идентификаторов тестов (по одному на строку), но не запускает их. Вывод этого параметра подходит для использования с --test-id-filter-file и --run-test-id (см. Фильтрация по идентификатору теста).

Параметр --list-tests-xml записывает этот список в файл в формате XML.

Полный перечень всех параметров выбора тестов см. в разделе Выбор.

Сведения о среде выполнения

В этом разделе содержатся сведения о версии PHPUnit, версии PHP и файле конфигурации XML PHPUnit.

Этот раздел можно отключить с помощью параметра CLI --no-output.

Ход выполнения

Этот раздел отображается для обозначения хода выполнения тестов.

Для каждого выполняемого теста инструмент PHPUnit командной строки выводит один символ, обозначающий результат:

.

Выводится, если успешно пройденный тест не вызвал проблем

F

Выводится, если при выполнении метода теста не прошло утверждение

E

Выводится, если при выполнении метода теста произошла ошибка

W

Выводится, если тест вызвал предупреждение

R

Выводится, если тест признан рискованным (см. Рискованные тесты)

D

Выводится, если тест вызвал сообщение об устаревании

N

Выводится, если тест вызвал уведомление

I

Выводится, если тест помечен как неполный (см. Неполные тесты)

S

Выводится, если тест пропущен (см. Пропуск тестов)

Этот раздел можно отключить с помощью параметров CLI --no-progress и --no-output.

Результаты тестов

В этом разделе содержатся сведения об ошибках выполнения, сбоях, пропущенных и неполных тестах, а также о проблемах. По умолчанию выводятся только сведения об ошибках выполнения и сбоях.

Этот раздел отображается только при наличии ошибок выполнения, сбоев или проблем, о которых нужно сообщить. Его можно отключить с помощью параметров CLI --no-results и --no-output.

<?php declare(strict_types=1);
use PHPUnit\Framework\TestCase;

final class ArrayDiffTest extends TestCase
{
    public function testEquality(): void
    {
        $this->assertSame(
            [1, 2,  3, 4, 5, 6],
            [1, 2, 33, 4, 5, 6],
        );
    }
}

./tools/phpunit tests/ArrayDiffTest.php
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime:       PHP 8.5.7

F                                                                   1 / 1 (100%)

Time: 00:00, Memory: 28.00 MB

There was 1 failure:

1) ArrayDiffTest::testEquality
Failed asserting that two arrays are identical.
--- Expected
+++ Actual
@@ @@
 Array &0 [
     0 => 1,
     1 => 2,
-    2 => 3,
+    2 => 33,
     3 => 4,
     4 => 5,
     5 => 6,
 ]

/path/to/tests/ArrayDiffTest.php:8

FAILURES!
Tests: 1, Assertions: 1, Failures: 1.

<?php declare(strict_types=1);
use PHPUnit\Framework\TestCase;

final class LongArrayDiffTest extends TestCase
{
    public function testEquality(): void
    {
        $this->assertSame(
            [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 2,  3, 4, 5, 6],
            [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 2, 33, 4, 5, 6],
        );
    }
}

./tools/phpunit tests/LongArrayDiffTest.php
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime:       PHP 8.5.7

F                                                                   1 / 1 (100%)

Time: 00:00, Memory: 28.00 MB

There was 1 failure:

1) LongArrayDiffTest::testEquality
Failed asserting that two arrays are identical.
--- Expected
+++ Actual
@@ @@
     11 => 0,
     12 => 1,
     13 => 2,
-    14 => 3,
+    14 => 33,
     15 => 4,
     16 => 5,
     17 => 6,
 ]

/path/to/tests/LongArrayDiffTest.php:8

FAILURES!
Tests: 1, Assertions: 1, Failures: 1.

<?php declare(strict_types=1);
use PHPUnit\Framework\TestCase;

final class ArrayWeakComparisonTest extends TestCase
{
    public function testEquality(): void
    {
        $this->assertEquals(
            [1, 2, 3, 4, 5, 6],
            ['1', 2, 33, 4, 5, 6],
        );
    }
}

./tools/phpunit tests/ArrayWeakComparisonTest.php
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime:       PHP 8.5.7

F                                                                   1 / 1 (100%)

Time: 00:00, Memory: 28.00 MB

There was 1 failure:

1) ArrayWeakComparisonTest::testEquality
Failed asserting that two arrays are equal.
--- Expected
+++ Actual
@@ @@
 Array (
-    0 => 1
+    0 => '1'
     1 => 2
-    2 => 3
+    2 => 33
     3 => 4
     4 => 5
     5 => 6
 )

/path/to/tests/ArrayWeakComparisonTest.php:8

FAILURES!
Tests: 1, Assertions: 1, Failures: 1.

Сводка

В этом разделе содержится сводка выполнения набора тестов.

• Если ни один тест не завершился с ошибкой выполнения или сбоем, сводка будет OK

• Если тест завершился с ошибкой выполнения, сводка будет ERRORED!

• Если тест завершился сбоем и ни один тест не завершился с ошибкой выполнения, сводка будет FAILED!

• Если ошибок выполнения и сбоев не было, но тест был пропущен, сводка будет OK, but some tests were skipped!

• Если ошибок выполнения, сбоев и пропущенных тестов не было, но возникли проблемы, сводка будет OK, but there were issues!

Этот раздел можно отключить с помощью параметра CLI --no-output.

Альтернативные форматы вывода

PHPUnit поддерживает альтернативные форматы вывода, заменяющие стандартный вывод хода выполнения и результатов.

$ ./tools/phpunit --compact tests
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime: PHP 8.5.5

OK (4699 tests, 13576 assertions)

$ ./tools/phpunit --compact tests
PHPUnit 13.2.0 by Sebastian Bergmann and contributors.

Runtime: PHP 8.5.5

FAILURES (23 tests, 42 assertions, 1 failure)

--- FAILURE: ExampleTest::testSomething
Failed asserting that false is true.

/path/to/tests/ExampleTest.php:47

Управление выводом

Следующие параметры управляют отображением раздела результатов тестов. По умолчанию выводятся только сведения об ошибках выполнения и сбоях. Используйте эти параметры, чтобы выводить дополнительные сведения:

• --display-incomplete выводит подробные сведения о неполных тестах

• --display-skipped выводит подробные сведения о пропущенных тестах

• --display-deprecations выводит подробные сведения о сообщениях об устаревании, вызванных тестами

• --display-notices выводит подробные сведения об уведомлениях, вызванных тестами

• --display-warnings выводит подробные сведения о предупреждениях, вызванных тестами

• --display-errors выводит подробные сведения об ошибках, вызванных тестами

• --display-all-issues включает все перечисленные выше параметры

Параметр --colors=<flag> управляет использованием цветов в выводе терминала. Допустимые значения: never, auto (использовать цвета, если терминал их поддерживает) и always.

Параметр --columns управляет шириной вывода хода выполнения. Используйте --columns max, чтобы задействовать всю ширину терминала.

Параметр --reverse-list выводит дефекты в обратном порядке, показывая сначала последние обнаруженные.

Полный перечень параметров отчётности см. в разделе Отчётность.

Взаимодействие параметров вывода

Описанные выше параметры делятся на две группы:

• --no-output, --no-progress и --no-results скрывают разделы стандартного формата вывода, описанного в разделе Вывод.

• --testdox, --teamcity, --compact и --debug выбирают альтернативный формат вывода, заменяющий стандартный вывод хода выполнения и результатов.

Параметры --no-* применяются только к стандартному формату вывода. Они не скрывают вывод, создаваемый альтернативным форматом. Например, --testdox --no-output по-прежнему будет выводить результат в формате TestDox.

Параметры --testdox-html и --testdox-text предназначены для журналирования (см. раздел Журналирование): они записывают отчёт в формате TestDox в файл. Они не предназначены для замены или дополнения вывода в консоль. Используйте --testdox, если хотите получить вывод в формате TestDox в консоли.