ctest(1)

Синопсис
Описание
Опции
Сопоставление меток
Сводка меток и подпроектов
Режим сборки и тестирования
Клиент панели управления
Настройка клиента панели управления
Показать в виде JSON модели объекта
Распределение ресурсов
См. также

Синопсис

ctest [<options>]
ctest --build-and-test <path-to-source> <path-to-build>
      --build-generator <generator> [<options>...]
      [--build-options <opts>...] [--test-command <command> [<args>...]]
ctest {-D <dashboard> | -M <model> -T <action> | -S <script> | -SP <script>}
      [-- <dashboard-options>...]

Описание

Исполняемый файл ctest — это программа-драйвер тестов CMake. Деревья сборки, сгенерированные CMake для проектов, использующих команды enable_testing() и add_test(), поддерживают тестирование. Эта программа выполнит тесты и сообщит результаты.

Опции

--preset <preset>, --preset=<preset>

Используйте тестовый пресет для задания параметров тестирования. Директория двоичных файлов проекта определяется по ключу configurePreset. Текущая рабочая директория должна содержать файлы пресетов CMake. Подробнее см. preset.

--list-presets

Отображает доступные тестовые пресеты. Текущая рабочая директория должна содержать файлы пресетов CMake.

-C <cfg>, --build-config <cfg>

Выбор конфигурации для тестирования.

Некоторые генерируемые CMake деревья сборки могут содержать несколько конфигураций сборки в одном дереве. Этот параметр позволяет указать, какая из них должна быть протестирована. Примеры конфигураций: Debug и Release.

--progress

Включить краткий вывод о ходе выполнения тестов.

Когда вывод ctest направляется непосредственно в терминал, прогресс выполнения набора тестов отображается обновлением той же строки, а не выводом сообщений о начале и окончании каждого теста в новых строках. Это значительно сокращает объем вывода теста. Сообщения об успешном завершении теста все равно выводятся в отдельной строке для проваленных тестов, и итоговый сводный отчет также будет записан.

Этот параметр также можно включить, задав переменную среды CTEST_PROGRESS_OUTPUT.

-V,--verbose

Включить подробный вывод от тестов.

Вывод тестов обычно подавляется, и отображается только сводная информация. Этот параметр покажет весь вывод тестов.

-VV,--extra-verbose

Включить более подробный вывод от тестов.

Вывод тестов обычно подавляется, и отображается только сводная информация. Этот параметр покажет еще более подробный вывод тестов.

--debug

Отображение более подробных внутренних данных CTest.

Эта функция приведет к большому объему вывода, который в основном полезен для отладки проблем с панелью мониторинга.

--output-on-failure

Вывести всё, что выводит тестовая программа, если тест провален. Этот параметр также можно включить, задав переменную среды CTEST_OUTPUT_ON_FAILURE

--stop-on-failure

Остановка выполнения тестов при первом провале.

-F

Включить механизм восстановления.

Этот параметр позволяет CTest возобновить выполнение набора тестов, ранее прерванного. Если прерывание не происходило, параметр -F не окажет никакого влияния.

-j <jobs>, --parallel <jobs>

Запуск тестов параллельно с использованием заданного количества задач.

Этот параметр указывает CTest на запуск тестов параллельно, используя заданное количество задач. Этот параметр также можно задать, установив переменную среды CTEST_PARALLEL_LEVEL.

Этот параметр может использоваться с тестовой характеристикой PROCESSORS.

См. Сводка по меткам и подпроектам.

--resource-spec-file <file>

Запустить CTest с включенным распределением ресурсов, используя указанный в <file> файл спецификаций ресурсов.

При запуске ctest как клиента панели мониторинга это устанавливает параметр ResourceSpecFile шага тестирования CTest.

--test-load <level>

Во время параллельного выполнения тестов (например, с -j) избегать запуска тестов, которые могут привести к превышению заданного порога загрузки ЦП.

При запуске ctest как клиента панели мониторинга это устанавливает параметр TestLoad шага тестирования CTest.

-Q,--quiet

Сделать CTest тихим.

Этот параметр подавит весь вывод. Файл журнала вывода по-прежнему будет сгенерирован, если указан --output-log. Параметры, такие как --verbose, --extra-verbose, и --debug, игнорируются, если указан --quiet.

-O <file>, --output-log <file>

Вывод в файл журнала.

Этот параметр указывает CTest записать весь вывод в файл журнала <file>.

--output-junit <file>

Запись результатов тестов в формате JUnit.

Этот параметр указывает CTest записать результаты тестов в <file> в формате JUnit XML. Если <file> уже существует, он будет перезаписан. Если используется параметр -S для запуска скрипта панели мониторинга, используйте ключевое слово OUTPUT_JUNIT с командой ctest_test() вместо.

-N,--show-only[=<format>]

Отключить фактическое выполнение тестов.

Этот параметр указывает CTest на вывод списка тестов, которые будут запущены, но не запускать их фактически. Полезно в сочетании с параметрами -R и -E.

<format> может принимать следующие значения.

human: Вывод, удобный для человека. Не гарантируется стабильность. Это значение по умолчанию.
json-v1: Вывести информацию о тесте в формате JSON. См. Отображение в виде JSON-объекта.

-L <regex>, --label-regex <regex>

Запуск тестов с метками, соответствующими регулярному выражению, как описано в string(REGEX).

Этот параметр указывает CTest на запуск только тех тестов, чьи метки соответствуют заданному регулярному выражению. При использовании нескольких параметров -L, тест будет запущен только если каждое регулярное выражение соответствует хотя бы одной метке теста (т.е. несколько меток -L образуют отношение AND). См. Соответствие меток.

-R <regex>, --tests-regex <regex>

Запуск тестов, соответствующих регулярному выражению.

Этот параметр указывает CTest запускать только тесты, имена которых соответствуют заданному регулярному выражению.

-E <regex>, --exclude-regex <regex>

Исключение тестов, соответствующих регулярному выражению.

Этот параметр указывает CTest НЕ запускать тесты, имена которых соответствуют заданному регулярному выражению.

-LE <regex>, --label-exclude <regex>

Исключение тестов с метками, соответствующими регулярному выражению.

Этот параметр указывает CTest не запускать тесты, чьи метки соответствуют заданному регулярному выражению. Когда указано несколько параметров -LE, тест будет исключен только если каждое регулярное выражение соответствует хотя бы одной метке теста (т. е. несколько меток -LE образуют отношение AND). См. Сопоставление меток.

-FA <regex>, --fixture-exclude-any <regex>

Исключение фикстур, соответствующих <regex>, из автоматического добавления любых тестов в набор тестов.

Если тест в наборе выполняемых тестов требует определенной фикстуры, тесты настройки и очистки этой фикстуры обычно автоматически добавляются в набор тестов. Этот параметр предотвращает добавление тестов настройки или очистки для фикстур, соответствующих <regex>. Обратите внимание, что все другие поведение фикстуры сохраняется, включая зависимости тестов и пропуск тестов, у которых есть тесты настройки фикстуры, завершившиеся ошибкой.

-FS <regex>, --fixture-exclude-setup <regex>

То же, что и -FA, за исключением того, что исключаются только соответствующие тесты настройки.

-FC <regex>, --fixture-exclude-cleanup <regex>

То же, что и -FA, за исключением того, что исключаются только соответствующие тесты очистки.

-D <dashboard>, --dashboard <dashboard>

Выполнение тестового сценария панели мониторинга.

Этот параметр указывает CTest действовать как клиент CDash и выполнить тестовый сценарий панели мониторинга. Все тесты <Mode><Test>, где <Mode> может быть Experimental, Nightly, и Continuous, а <Test> может быть Start, Update, Configure, Build, Test, Coverage, и Submit.

См. Клиент панели мониторинга.

-D <var>:<type>=<value>

Определение переменной для сценария скрипта.

Передача значений переменных в командной строке. Используется в сочетании с -S для передачи значений переменных скрипту панели мониторинга. Парсинг аргументов -D в качестве значений переменных выполняется только если значение, следующее за -D, не соответствует ни одному известному типу панели мониторинга.

-M <model>, --test-model <model>

Устанавливает модель для панели мониторинга.

Этот параметр указывает CTest действовать как клиент CDash, где <model> может быть Experimental, Nightly, и Continuous. Объединение -M и -T аналогично -D.

См. Клиент панели мониторинга.

-T <action>, --test-action <action>

Установка действия панели мониторинга.

Этот параметр указывает CTest действовать как клиент CDash и выполнить какое-либо действие, например start, build, test и т. д. См. Шаги клиента панели мониторинга для полного списка действий. Объединение -M и -T аналогично -D.

См. Клиент панели мониторинга.

-S <script>, --script <script>

Выполнение панели мониторинга для конфигурации.

Этот параметр указывает CTest загрузить скрипт конфигурации, который задаёт ряд параметров, таких как директории бинарных файлов и исходных кодов. Затем CTest выполнит необходимые действия для создания и запуска панели мониторинга. Этот параметр по сути настраивает панель мониторинга и затем запускает ctest -D с соответствующими параметрами.

См. Клиент панели мониторинга.

-SP <script>, --script-new-process <script>

Выполнить панель мониторинга для конфигурации.

Этот параметр выполняет те же операции, что и -S, но выполнит их в отдельном процессе. Это полезно в случаях, когда сценарий может изменить среду, и вы не хотите, чтобы изменённая среда влияла на другие -S сценарии.

См. Клиент панели мониторинга.

-I [Start,End,Stride,test#,test#|Test file], --tests-information

Запустить определённое количество тестов по номеру.

Этот параметр заставляет CTest запускать тесты, начиная с номера Start, заканчивая номером End, с приращением Stride. Любые дополнительные числа после Stride рассматриваются как отдельные номера тестов. Start, End, или Stride могут быть пустыми. Допускается передача файла с синтаксисом, аналогичным командной строке.

-U, --union

Взять объединение -I и -R.

Когда оба -R и -I указаны, по умолчанию выполняется пересечение тестов. Указав -U, вместо этого выполняется объединение тестов.

--rerun-failed

Запустить только тесты, которые ранее завершились ошибкой.

Этот параметр указывает CTest на выполнение только тех тестов, которые завершились ошибкой во время предыдущего запуска. При указании этого параметра CTest игнорирует все другие параметры, предназначенные для изменения списка запускаемых тестов (-L, -R, -E, -LE, -I, и т.д.). В случае, если CTest запустится и ни один тест не завершится ошибкой, последующие вызовы CTest с параметром --rerun-failed будут запускать набор тестов, который последним завершился ошибкой (если таковые были).

--repeat <mode>:<n>

Повторять тесты в соответствии с заданным <mode> до <n> раз. Режимы:

until-fail: Требуется, чтобы каждый тест выполнялся <n> раз без ошибок, чтобы пройти. Это полезно для обнаружения спорадических ошибок в тестовых случаях.
until-pass: Разрешает каждому тесту выполняться до <n> раз, чтобы пройти. Повторяет тесты, если они завершаются ошибкой по любой причине. Это полезно для допуска спорадических ошибок в тестовых случаях.
after-timeout: Разрешает каждому тесту выполняться до <n> раз, чтобы пройти. Повторяет тесты только если они завершаются по таймауту. Это полезно для допуска спорадических таймаутов в тестовых случаях на загруженных машинах.

--repeat-until-fail <n>

Эквивалентно --repeat until-fail:<n>.

--max-width <width>

Установить максимальную ширину имени теста для вывода.

Устанавливает максимальную ширину каждого имени теста, отображаемого в выводе. Это позволяет пользователю расширить вывод, чтобы избежать обрезки имени теста, что может быть очень раздражающим.

--interactive-debug-mode [0|1]

Установить интерактивный режим на 0 или 1.

Этот параметр заставляет CTest запускать тесты в интерактивном или неинтерактивном режиме. В режиме панели мониторинга (Experimental, Nightly, Continuous ) по умолчанию используется неинтерактивный режим. В неинтерактивном режиме устанавливается переменная среды DASHBOARD_TEST_FROM_CTEST.

До CMake 3.11 интерактивный режим в Windows мог отображать всплывающие окна отладки системы. Теперь, из-за использования CTest libuv для запуска процессов тестов, все всплывающие окна отладки системы всегда заблокированы.

--no-label-summary

Отключить информацию о сводном времени выполнения для меток.

Этот параметр указывает CTest не отображать сводную информацию для каждой метки, связанной с запущенными тестами. Если тесты не помечены, дополнительная информация не выводится.

См. Сводная информация по меткам и подпроектам.

--no-subproject-summary

Отключить сводную информацию о времени выполнения для подпроектов.

Этот параметр указывает CTest не отображать сводную информацию для каждого подпроекта, связанного с запущенными тестами. Если тесты не имеют подпроектов, дополнительная информация не выводится.

См. Сводная информация по меткам и подпроектам.

--build-and-test См. Режим сборки и тестирования.

--test-dir <dir> Указать директорию для поиска тестов.

--test-output-size-passed <size>

Добавлен в версии 3.4.

Ограничить вывод для пройденных тестов до <size> байт.

--test-output-size-failed <size>

Добавлен в версии 3.4.

Ограничить вывод для неудачных тестов до <size> байт.

--test-output-truncation <mode>

Добавлен в версии 3.24.

Укоротить tail (по умолчанию), middle или head вывода тестов при достижении максимального размера вывода.

--overwrite

Перезаписать параметр конфигурации CTest.

По умолчанию CTest использует параметры конфигурации из файла конфигурации. Этот параметр перепишет параметр конфигурации.

--force-new-ctest-process

Запускать дочерние экземпляры CTest как новые процессы.

По умолчанию CTest будет запускать дочерние экземпляры CTest в рамках одного процесса. Если этого поведения не требуется, этот аргумент заставит использовать новые процессы для дочерних процессов CTest.

--schedule-random

Использовать случайный порядок планирования тестов.

Этот параметр запустит тесты в случайном порядке. Он обычно используется для обнаружения неявных зависимостей в наборе тестов.

--submit-index

Устаревший параметр для старой функции сервера панели мониторинга Dart2. Не использовать.

--timeout <seconds>

Установить значение таймаута по умолчанию для тестов.

Этот параметр фактически устанавливает таймаут для всех тестов, которые не имеют таймаут, установленный через свойство TIMEOUT.

--stop-time <time>

Установить время, по которому все тесты должны прекратить выполнение.

Установить время суток, по которому все тесты должны сработать по таймауту. Пример: 7:00:00 -0400. Принимается любой формат времени, понимаемый парсером даты curl. Если часовой пояс не указан, предполагается местное время.

--print-labels

Вывести все доступные метки тестов.

Этот параметр не будет запускать тесты, а просто выведет список всех меток, связанных с набором тестов.

--no-tests=<[error|ignore]>

Рассматривать отсутствие тестов как ошибку или игнорировать её.

Если тесты не найдены, по умолчанию CTest всегда выводит сообщение об ошибке, но возвращает код ошибки только в скриптовом режиме. Этот параметр унифицирует поведение CTest, возвращая код ошибки, если тесты не найдены, или игнорируя отсутствие тестов.

--help,-help,-usage,-h,-H,/?

Вывести информацию об использовании и завершить работу.

Информация об использовании описывает базовый интерфейс командной строки и его параметры.

--version,-version,/V [<f>]

Показать баннер с именем/версией программы и завершить работу.

Если указан файл, версия записывается в него. Справка выводится в указанный файл <f> если задан.

--help-full [<f>]

Вывести все руководства справки и завершить работу.

Все руководства выводятся в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-manual <man> [<f>]

Вывести одно руководство справки и завершить работу.

Указанное руководство выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-manual-list [<f>]

Вывести список доступных руководств справки и завершить работу.

Список содержит все руководства, для которых справку можно получить, используя параметр --help-manual за которым следует имя руководства. Справка выводится в указанный файл <f> если задан.

--help-command <cmd> [<f>]

Вывести справку по одной команде и завершить работу.

Запись справки cmake-commands(7) для <cmd> выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-command-list [<f>]

Вывести список команд со справкой и завершить работу.

Список содержит все команды, для которых справку можно получить, используя параметр --help-command за которым следует имя команды. Справка выводится в указанный файл <f> если задан.

--help-commands [<f>]

Вывести руководство cmake-commands и завершить работу.

Руководство cmake-commands(7) выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-module <mod> [<f>]

Вывести справку по одному модулю и завершить работу.

Запись справки cmake-modules(7) для <mod> выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-module-list [<f>]

Вывести список модулей со справкой и завершить работу.

Список содержит все модули, для которых справку можно получить, используя параметр --help-module за которым следует имя модуля. Справка выводится в указанный файл <f> если задан.

--help-modules [<f>]

Вывести руководство cmake-modules и завершить работу.

Руководство cmake-modules(7) выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-policy <cmp> [<f>]

Вывести справку по одной политике и завершить работу.

Запись справки cmake-policies(7) для <cmp> выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-policy-list [<f>]

Вывести список политик со справкой и завершить работу.

Список содержит все политики, для которых справку можно получить, используя параметр --help-policy за которым следует имя политики. Справка выводится в указанный файл <f> если задан.

--help-policies [<f>]

Вывести руководство cmake-policies и завершить работу.

Руководство cmake-policies(7) выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-property <prop> [<f>]

Вывести справку по одному свойству и завершить работу.

Записи справки cmake-properties(7) для <prop> выводятся в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-property-list [<f>]

Вывести список свойств со справкой и завершить работу.

Список содержит все свойства, для которых справку можно получить, используя параметр --help-property за которым следует имя свойства. Справка выводится в указанный файл <f> если задан.

--help-properties [<f>]

Вывести руководство cmake-properties и завершить работу.

Руководство cmake-properties(7) выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-variable <var> [<f>]

Вывести справку по одной переменной и завершить работу.

Запись справки cmake-variables(7) для <var> выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

--help-variable-list [<f>]

Вывести список переменных со справкой и завершить работу.

Список содержит все переменные, для которых справку можно получить, используя параметр --help-variable за которым следует имя переменной. Справка выводится в указанный файл <f> если задан.

--help-variables [<f>]

Вывести руководство cmake-variables и завершить работу.

Руководство cmake-variables(7) выводится в удобочитаемом текстовом формате. Справка выводится в указанный файл <f> если задан.

Сопоставление меток

Тесты могут иметь присвоенные метки. Тесты могут быть включены или исключены из выполнения теста путем фильтрации по меткам. Каждый отдельный фильтр представляет собой регулярное выражение, применяемое к меткам, присвоенным тесту.

Когда используется -L, для включения теста в запуск теста каждое регулярное выражение должно соответствовать хотя бы одной метке. Использование более одного -L параметра означает "соответствовать всем этим".

Параметр -LE работает так же, как -L, но исключает тесты, а не включает их. Тест исключается, если каждое регулярное выражение соответствует хотя бы одной метке.

Если у теста нет присвоенных меток, то -L никогда не включит этот тест, и -LE никогда не исключит этот тест. В качестве примера тестов с метками рассмотрим пять тестов со следующими метками:

test1 имеет метки tuesday и production
test2 имеет метки tuesday и test
test3 имеет метки wednesday и production
test4 имеет метку wednesday
test5 имеет метки friday и test

Запуск ctest с -L tuesday -L test выберет test2, у которого есть обе метки. Запуск CTest с -L test выберет test2 и test5, потому что у них обеих есть метка, соответствующая этому регулярному выражению.

Поскольку сопоставление выполняется с помощью регулярных выражений, обратите внимание, что запуск CTest с -L es соответствует всем пяти тестам. Чтобы выбрать тесты tuesday и wednesday вместе, используйте одно регулярное выражение, которое соответствует любому из них, например, -L "tue|wed".

Сводка меток и подпроектов

CTest выводит сводку временной информации для каждого LABEL и подпроекта, связанного с выполненными тестами. Сводка времени по меткам не будет включать метки, которые сопоставлены подпроектам.

Новое в версии 3.22: Метки, добавленные динамически во время выполнения теста, также отображаются в сводке времени. См. Дополнительные метки.

При установке свойства теста PROCESSORS CTest отобразит взвешенный результат времени теста в сводках меток и подпроектов. Время отображается с sec*proc вместо просто sec.

Взвешенная сводка времени, сообщённая для каждой метки или подпроекта j вычисляется следующим образом:

Weighted Time Summary for Label/Subproject j =
    sum(raw_test_time[j,i] * num_processors[j,i], i=1...num_tests[j])

for labels/subprojects j=1...total

где:

raw_test_time[j,i]: Время стендочного отсчёта для теста i для метки j или подпроекта
num_processors[j,i]: Значение свойства CTest PROCESSORS для теста i для метки j или подпроекта
num_tests[j]: Количество тестов, связанных с меткой j или подпроектом
total: Общее количество меток или подпроектов, имеющих хотя бы один запуск теста

Таким образом, взвешенная сводка времени для каждой метки или подпроекта представляет собой количество времени, которое CTest потратил на выполнение тестов для каждой метки или подпроекта, и даёт хорошее представление о общей стоимости тестов для каждой метки или подпроекта по сравнению с другими метками или подпроектами.

Например, если SubprojectA показал 100 sec*proc и SubprojectB показал 10 sec*proc, то CTest распределил примерно в 10 раз больше времени ЦП/ядра на выполнение тестов для SubprojectA по сравнению с SubprojectB (например, если будут затрачены усилия на сокращение стоимости набора тестов для всего проекта, то уменьшение стоимости набора тестов для SubprojectA будет иметь, вероятно, большее значение, чем усилия на уменьшение стоимости набора тестов для SubprojectB).

Режим сборки и тестирования

CTest предоставляет командную строку для настройки (т.е. выполнения cmake), сборки и/или выполнения теста:

ctest --build-and-test <path-to-source> <path-to-build>
      --build-generator <generator>
      [<options>...]
      [--build-options <opts>...]
      [--test-command <command> [<args>...]]

Шаги конфигурации и тестирования являются необязательными. Аргументы этой командной строки — каталоги исходных и двоичных файлов. Необходимо указать параметр --build-generator для использования --build-and-test. Если указан --test-command, то он будет запущен после завершения сборки. Другие параметры, которые влияют на этот режим, включают:

--build-target

Укажите конкретную цель сборки.

Если это не указано, будет построена цель all.

--build-nocmake

Запустить сборку без предварительного запуска cmake.

Пропустить шаг cmake.

--build-run-dir

Укажите директорию для запуска программ.

Директория, в которой будут программы после компиляции.

--build-two-config

Запустить CMake дважды.

--build-exe-dir

Укажите директорию для исполняемого файла.

--build-generator

Укажите используемый генератор. См. руководство cmake-generators(7).

--build-generator-platform

Укажите платформу, специфичную для генератора.

--build-generator-toolset

Укажите набор инструментов, специфичный для генератора.

--build-project

Укажите имя проекта для сборки.

--build-makeprogram

Укажите явное make-программу, которую CMake должен использовать при конфигурировании и сборке проекта. Применимо только для генераторов на основе Make и Ninja.

--build-noclean

Пропустить шаг make clean.

--build-config-sample

Образец исполняемого файла для определения конфигурации, которая должна использоваться. Например, Debug, Release и т.д.

--build-options

Дополнительные параметры для конфигурирования сборки (т.е. для CMake, а не для инструмента сборки). Обратите внимание, что если это указано, ключевое слово --build-options и его аргументы должны быть последними параметрами, указанными в командной строке, за возможным исключением --test-command.

--test-command

Команда для выполнения на этапе тестирования с опцией --build-and-test. Все аргументы, следующие за этим ключевым словом, будут считаться частью командной строки теста, поэтому это должен быть последний параметр.

--test-timeout

Предельное время в секундах

Клиент панели управления

CTest может работать как клиент приложения панели управления качеством программного обеспечения CDash. В качестве клиента панели управления CTest выполняет последовательность шагов для настройки, сборки и тестирования программного обеспечения, а затем отправляет результаты на сервер CDash. Сигнатура командной строки, используемая для отправки в CDash:

ctest (-D <dashboard> | -M <model> -T <action> | -S <script> | -SP <script>)
      [-- <dashboard-options>...]

Параметры для клиента панели управления включают:

--group <group>

Укажите группу, в которую вы хотите отправить результаты

Отправить панель управления в указанную группу вместо стандартной. По умолчанию панель управления отправляется в группу Nightly, Experimental или Continuous, но с помощью этого параметра группа может быть произвольной.

Это заменяет устаревший параметр --track. Несмотря на изменение названия, его поведение не меняется.

-A <file>, --add-notes <file>

Добавить файл заметок при отправке.

Этот параметр сообщает CTest включить файл заметок при отправке на панель управления.

--tomorrow-tag

Nightly или Experimental начинаются со следующей метки дня.

Это полезно, если сборка не завершится за один день.

--extra-submit <file>[;<file>]

Отправить дополнительные файлы на панель управления.

Этот параметр отправит дополнительные файлы на панель управления.

--http1.0

Отправить используя HTTP 1.0.

Этот параметр принудительно заставит CTest использовать HTTP 1.0 для отправки файлов на панель управления вместо HTTP 1.1.

--no-compress-output

Не сжимать выходные данные теста при отправке.

Этот флаг выключит автоматическое сжатие выходных данных теста. Используйте это для поддержания совместимости со старой версией CDash, которая не поддерживает сжатые выходные данные теста.

Шаги клиента панели управления

CTest определяет упорядоченный список этапов тестирования, некоторые или все из которых могут быть выполнены как клиент панели управления:

Start: Начать новую отправку на панель управления, которая будет состоять из результатов, записанных следующими этапами. См. раздел Шаг запуска CTest ниже.
Update: Обновить дерево исходных кодов из репозитория системы контроля версий. Записать старые и новые версии и список обновленных исходных файлов. См. раздел Шаг обновления CTest ниже.
Configure: Настроить программное обеспечение, выполнив команду в дереве сборки. Записать журнал вывода конфигурации. См. раздел Шаг конфигурации CTest ниже.
Build: Собрать программное обеспечение, выполнив команду в дереве сборки. Записать журнал вывода сборки и обнаружить предупреждения и ошибки. См. раздел Шаг сборки CTest ниже.
Test: Протестировать программное обеспечение, загрузив CTestTestfile.cmake из дерева сборки и выполнив определенные тесты. Записать вывод и результат каждого теста. См. раздел Шаг тестирования CTest ниже.
Coverage: Вычислить покрытие исходного кода, выполнив инструмент анализа покрытия и записав его вывод. См. раздел Шаг покрытия CTest ниже.
MemCheck: Проверить набор тестов программного обеспечения с помощью инструмента проверки памяти. Записать вывод теста, результаты и проблемы, сообщенные инструментом. См. раздел Шаг проверки памяти CTest ниже.
Submit: Отправить результаты, записанные другими этапами тестирования, на сервер панели управления качеством программного обеспечения. См. раздел Шаг отправки CTest ниже.

Режимы клиента панели управления

CTest определяет три режима работы в качестве клиента панели управления:

Nightly: Этот режим предназначен для вызова один раз в день, обычно ночью. Он включает этапы Start, Update, Configure, Build, Test, Coverage, и Submit по умолчанию. Выбранные этапы выполняются даже если этап Update не обнаруживает изменений в дереве исходных кодов.
Continuous: Этот режим предназначен для многократного вызова в течение дня. Он включает этапы Start, Update, Configure, Build, Test, Coverage, и Submit по умолчанию, но завершается после этапа Update если он не обнаруживает изменений в дереве исходных кодов.
Experimental: Этот режим предназначен для использования разработчиками для тестирования локальных изменений. Он включает этапы Start, Configure, Build, Test, Coverage, и Submit по умолчанию.

Клиент панели управления через командную строку CTest

CTest может выполнять тестирование на уже сгенерированном дереве сборки. Запустите команду ctest с текущей рабочей директорией, установленной в дереве сборки, и используйте одну из этих подписей:

ctest -D <mode>[<step>]
ctest -M <mode> [ -T <step> ]...

<mode> должен быть одним из вышеперечисленных Режим клиента панели управления, и каждый <step> должен быть одним из вышеперечисленных Шаги клиента панели управления.

CTest считывает параметры Конфигурации клиента панели управления из файла в дереве сборки под названием CTestConfiguration.ini или DartConfiguration.tcl (названия носят исторический характер). Формат файла:

# Lines starting in '#' are comments.
# Other non-blank lines are key-value pairs.
<setting>: <value>

где <setting> - имя параметра, а <value> - значение параметра.

В деревьях сборки, сгенерированных CMake, этот файл конфигурации генерируется модулем CTest, если он включен в проект. Модуль использует переменные для получения значения каждого параметра, как описано в разделах ниже.

Клиент панели управления через скрипт CTest

CTest может выполнять тестирование, управляемое скриптом cmake-language(7), который создает и поддерживает дерево исходных кодов и дерева сборки, а также выполняет шаги тестирования. Запустите команду ctest с текущей рабочей директорией вне любого дерева сборки и используйте одну из этих подписей:

ctest -S <script>
ctest -SP <script>

Файл <script> должен вызывать команды Команды CTest для явного выполнения шагов тестирования, как описано ниже. Команды получают настройки Конфигурации клиента панели управления из своих аргументов или из переменных, установленных в скрипте.

Конфигурация клиента панели управления

Шаги Шаги клиента панели управления могут быть сконфигурированы с помощью именованных настроек, как описано в следующих разделах.

Шаг запуска CTest

Начать новую отправку на панель управления, которая будет состоять из результатов, записанных следующими этапами.

В скрипте CTest команда ctest_start() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага. Команда сначала выполняет указанную в командной строке команду переменной CTEST_CHECKOUT_COMMAND, если она установлена, для инициализации директории исходных кодов.

Настройки конфигурации включают:

BuildDirectory

Полный путь к дереву сборки проекта.

Сценарий CTest переменная: CTEST_BINARY_DIRECTORY
CTest модульная переменная: PROJECT_BINARY_DIR

SourceDirectory

Полный путь к дереву исходных кодов проекта.

Сценарий CTest переменная: CTEST_SOURCE_DIRECTORY
CTest модульная переменная: PROJECT_SOURCE_DIR

Шаг обновления CTest

В Сценарии CTest команда ctest_update() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага.

Настройки конфигурации для указания инструмента управления версиями включают:

BZRCommand

bzr командная утилита для использования, если дерево исходных файлов управляется Bazaar.

Скрипт CTest переменная: CTEST_BZR_COMMAND
CTest переменная модуля: none

BZRUpdateOptions

Командные параметры для BZRCommand при обновлении исходного кода.

Скрипт CTest переменная: CTEST_BZR_UPDATE_OPTIONS
CTest переменная модуля: none

CVSCommand

cvs командная утилита для использования, если дерево исходных файлов управляется CVS.

Скрипт CTest переменная: CTEST_CVS_COMMAND
CTest переменная модуля: CVSCOMMAND

CVSUpdateOptions

Командные параметры для CVSCommand при обновлении исходного кода.

Скрипт CTest переменная: CTEST_CVS_UPDATE_OPTIONS
CTest переменная модуля: CVS_UPDATE_OPTIONS

GITCommand

git командная утилита для использования, если дерево исходных файлов управляется Git.

Скрипт CTest переменная: CTEST_GIT_COMMAND
CTest переменная модуля: GITCOMMAND

Обновление дерева исходных файлов выполняется с помощью git fetch и git reset --hard в FETCH_HEAD. Результат аналогичен git pull, за исключением того, что любые локальные изменения будут перезаписаны. Используйте GITUpdateCustom для указания другого подхода.

GITInitSubmodules

Если установлено, CTest обновит подмодули репозитория перед обновлением.

Скрипт CTest переменная: CTEST_GIT_INIT_SUBMODULES
CTest переменная модуля: CTEST_GIT_INIT_SUBMODULES

GITUpdateCustom

Укажите пользовательскую командную строку (в виде списка, разделенного точкой с запятой) для выполнения в дереве исходных файлов (рабочая область Git) для его обновления вместо запуска GITCommand.

Скрипт CTest переменная: CTEST_GIT_UPDATE_CUSTOM
CTest переменная модуля: CTEST_GIT_UPDATE_CUSTOM

GITUpdateOptions

Командные параметры для GITCommand при обновлении исходного кода.

Скрипт CTest переменная: CTEST_GIT_UPDATE_OPTIONS
CTest переменная модуля: GIT_UPDATE_OPTIONS

HGCommand

hg командная утилита для использования, если дерево исходных файлов управляется Mercurial.

Скрипт CTest переменная: CTEST_HG_COMMAND
CTest переменная модуля: none

HGUpdateOptions

Командные параметры для HGCommand при обновлении исходного кода.

Скрипт CTest переменная: CTEST_HG_UPDATE_OPTIONS
CTest переменная модуля: none

P4Client

Значение параметра -c для P4Command.

Скрипт CTest переменная: CTEST_P4_CLIENT
CTest переменная модуля: CTEST_P4_CLIENT

P4Command

p4 командная утилита для использования, если дерево исходных файлов управляется Perforce.

Скрипт CTest переменная: CTEST_P4_COMMAND
CTest переменная модуля: P4COMMAND

P4Options

Командные параметры для P4Command для всех вызовов.

Скрипт CTest переменная: CTEST_P4_OPTIONS
CTest переменная модуля: CTEST_P4_OPTIONS

P4UpdateCustom

Укажите пользовательскую командную строку (в виде списка, разделенного точкой с запятой) для выполнения в дереве исходных файлов (Perforce) для его обновления вместо запуска P4Command.

Скрипт CTest переменная: none
CTest переменная модуля: CTEST_P4_UPDATE_CUSTOM

P4UpdateOptions

Командные параметры для P4Command при обновлении исходного кода.

Скрипт CTest переменная: CTEST_P4_UPDATE_OPTIONS
CTest переменная модуля: CTEST_P4_UPDATE_OPTIONS

SVNCommand

svn командная утилита для использования, если дерево исходных файлов управляется Subversion.

Скрипт CTest переменная: CTEST_SVN_COMMAND
CTest переменная модуля: SVNCOMMAND

SVNOptions

Командные параметры для SVNCommand для всех вызовов.

Скрипт CTest переменная: CTEST_SVN_OPTIONS
CTest переменная модуля: CTEST_SVN_OPTIONS

SVNUpdateOptions

Командные параметры для SVNCommand при обновлении исходного кода.

Скрипт CTest переменная: CTEST_SVN_UPDATE_OPTIONS
CTest переменная модуля: SVN_UPDATE_OPTIONS

UpdateCommand

Укажите утилиту командной строки для управления версиями, не определяя систему управления версиями (VCS), которая управляет деревом исходного кода.

Сценарий CTest переменная: CTEST_UPDATE_COMMAND
CTest модульная переменная: <VCS>COMMAND когда UPDATE_TYPE равно <vcs>, иначе UPDATE_COMMAND

UpdateOptions

Параметры командной строки для UpdateCommand.

Сценарий CTest переменная: CTEST_UPDATE_OPTIONS
CTest модульная переменная: <VCS>_UPDATE_OPTIONS когда UPDATE_TYPE равно <vcs>, иначе UPDATE_OPTIONS

UpdateType

Укажите систему управления версиями, которая управляет деревом исходного кода, если ее нельзя автоматически определить. Значение может быть bzr, cvs, git, hg, p4, или svn.

Сценарий CTest переменная: отсутствует, определяется из дерева исходного кода
CTest модульная переменная: UPDATE_TYPE если задана, иначе CTEST_UPDATE_TYPE

UpdateVersionOnly

Укажите, что вы хотите, чтобы команда обновления системы управления версиями обнаруживала только текущую версию, которая проверена, а не обновлялась до другой версии.

Сценарий CTest переменная: CTEST_UPDATE_VERSION_ONLY

UpdateVersionOverride

Укажите текущую версию вашего дерева исходного кода.

Когда эта переменная имеет значение отличное от пустой строки, CTest будет отображать указанное вами значение, а не использовать команду обновления для обнаружения текущей версии, которая проверена. Использование этой переменной имеет приоритет над UpdateVersionOnly. Как и UpdateVersionOnly, использование этой переменной сообщает CTest, что не нужно обновлять дерево исходного кода до другой версии.

Сценарий CTest переменная: CTEST_UPDATE_VERSION_OVERRIDE

Дополнительные параметры конфигурации включают:

NightlyStartTime

В режиме панели инструментов Nightly, укажите "время начала ночных тестов". В централизованных системах управления версиями (cvs и svn), этап Update проверяет версию программного обеспечения на момент этого времени, чтобы несколько клиентов выбрали общую версию для тестирования. Это не определено в системах распределенного управления версиями, поэтому параметр игнорируется.

Сценарий CTest переменная: CTEST_NIGHTLY_START_TIME
CTest модульная переменная: NIGHTLY_START_TIME если задана, иначе CTEST_NIGHTLY_START_TIME

Шаг конфигурации CTest

В сценарии CTest команда ctest_configure() выполняет этот шаг. Аргументы команды могут указать некоторые параметры шага.

Параметры конфигурации включают:

ConfigureCommand

Командная строка для запуска процесса конфигурации программного обеспечения. Она будет выполнена в расположении, указанном параметром BuildDirectory.

Сценарий CTest переменная: CTEST_CONFIGURE_COMMAND
CTest модульная переменная: CMAKE_COMMAND и PROJECT_SOURCE_DIR

LabelsForSubprojects

Укажите список меток, разделенных точкой с запятой, которые будут обрабатываться как подпроекты. Это отображение будет передано CDash при отправке результатов конфигурации, тестирования или сборки.

Сценарий CTest переменная: CTEST_LABELS_FOR_SUBPROJECTS
CTest модульная переменная: CTEST_LABELS_FOR_SUBPROJECTS

См. Краткое описание меток и подпроектов.

Шаг сборки CTest

В сценарии CTest команда ctest_build() выполняет этот шаг. Аргументы команды могут указать некоторые параметры шага.

Параметры конфигурации включают:

DefaultCTestConfigurationType

При запуске системы сборки, позволяющей выбрать конфигурацию во время сборки (например, Debug, Release), это указывает на конфигурацию по умолчанию, которая будет построена, если к команде ctest не задан параметр -C. Значение будет подставлено в значение MakeCommand, заменив строку ${CTEST_CONFIGURATION_TYPE} на него, если она встречается.

Сценарий CTest переменная: CTEST_CONFIGURATION_TYPE
CTest переменная модуля: DEFAULT_CTEST_CONFIGURATION_TYPE, инициализируется переменной окружения CMAKE_CONFIG_TYPE

LabelsForSubprojects

Укажите список меток, разделённых точкой с запятой, которые будут обрабатываться как подпроекты. Это отображение будет передано в CDash при отправке результатов конфигурирования, тестирования или сборки.

Сценарий CTest переменная: CTEST_LABELS_FOR_SUBPROJECTS
CTest переменная модуля: CTEST_LABELS_FOR_SUBPROJECTS

См. Резюме меток и подпроектов.

MakeCommand

Команда для запуска процесса сборки программного обеспечения. Она будет выполнена в указанном местоположении, заданном настройкой BuildDirectory.

Сценарий CTest переменная: CTEST_BUILD_COMMAND
CTest переменная модуля: MAKECOMMAND, инициализирована командой build_command()

UseLaunchers

Для деревьев сборки, сгенерированных CMake с использованием одного из Генераторов Makefile или генератора Ninja, укажите, включен ли параметр CTEST_USE_LAUNCHERS модулем CTestUseLaunchers (также включён модулем CTest). При включении сгенерированная система сборки оборачивает каждый вызов компилятора, компоновщика или пользовательской командной строки «запускателем», который взаимодействует с CTest через переменные окружения и файлы для отчётности о подробных предупреждениях и ошибках сборки. В противном случае CTest должен «извлекать» диагностику из журнала вывода сборки.

Сценарий CTest переменная: CTEST_USE_LAUNCHERS
CTest переменная модуля: CTEST_USE_LAUNCHERS

Шаг тестирования CTest

В сценарии CTest команда ctest_test() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага.

Настройки конфигурации включают:

ResourceSpecFile

Укажите файл спецификации ресурсов.

Сценарий CTest переменная: CTEST_RESOURCE_SPEC_FILE
CTest переменная модуля: CTEST_RESOURCE_SPEC_FILE

См. Распределение ресурсов для получения дополнительной информации.

LabelsForSubprojects

Сценарий CTest переменная: CTEST_LABELS_FOR_SUBPROJECTS
CTest переменная модуля: CTEST_LABELS_FOR_SUBPROJECTS

См. Резюме меток и подпроектов.

TestLoad

При запуске тестов параллельно (например, с -j) старайтесь не запускать тесты, которые могут привести к превышению заданного порога загрузки ЦП.

Сценарий CTest переменная: CTEST_TEST_LOAD
CTest переменная модуля: CTEST_TEST_LOAD

TimeOut

Время ожидания по умолчанию для каждого теста, если не указано свойством теста TIMEOUT.

Сценарий CTest переменная: CTEST_TEST_TIMEOUT
CTest переменная модуля: DART_TESTING_TIMEOUT

Для отчётности о дополнительных значениях тестов в CDash, см. Дополнительные измерения тестов.

Шаг покрытия CTest

В сценарии CTest команда ctest_coverage() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага.

Настройки конфигурации включают:

CoverageCommand

Инструмент командной строки для выполнения анализа покрытия программного обеспечения. Он будет запущен в местоположении, указанном настройкой BuildDirectory.

Сценарий CTest переменная: CTEST_COVERAGE_COMMAND
CTest переменная модуля: COVERAGE_COMMAND

CoverageExtraFlags

Укажите параметры командной строки для инструмента CoverageCommand.

Сценарий CTest переменная: CTEST_COVERAGE_EXTRA_FLAGS
CTest переменная модуля: COVERAGE_EXTRA_FLAGS

Эти параметры являются первыми аргументами, передаваемыми инструменту CoverageCommand.

Шаг CTest MemCheck

В сценарии CTest команда ctest_memcheck() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага.

Настройки конфигурации включают:

MemoryCheckCommand

Инструмент командной строки для выполнения динамического анализа. Команды тестирования будут запускаться через этот инструмент.

Сценарий CTest переменная: CTEST_MEMORYCHECK_COMMAND
CTest модульная переменная: MEMORYCHECK_COMMAND

MemoryCheckCommandOptions

Укажите параметры командной строки для инструмента MemoryCheckCommand. Они будут размещены перед командой запуска теста.

Сценарий CTest переменная: CTEST_MEMORYCHECK_COMMAND_OPTIONS
CTest модульная переменная: MEMORYCHECK_COMMAND_OPTIONS

MemoryCheckType

Укажите тип проверки памяти для выполнения.

Сценарий CTest переменная: CTEST_MEMORYCHECK_TYPE
CTest модульная переменная: MEMORYCHECK_TYPE

MemoryCheckSanitizerOptions

Укажите параметры для инструментов проверки, при работе с включенным инструментом проверки.

Сценарий CTest переменная: CTEST_MEMORYCHECK_SANITIZER_OPTIONS
CTest модульная переменная: MEMORYCHECK_SANITIZER_OPTIONS

MemoryCheckSuppressionFile

Укажите файл, содержащий правила подавления для инструмента MemoryCheckCommand. Он будет передан с параметрами, соответствующими инструменту.

Сценарий CTest переменная: CTEST_MEMORYCHECK_SUPPRESSIONS_FILE
CTest модульная переменная: MEMORYCHECK_SUPPRESSIONS_FILE

Дополнительные параметры настройки включают:

BoundsCheckerCommand

Укажите MemoryCheckCommand, который известен как совместимый с командной строкой Bounds Checker.

Сценарий CTest переменная: none
CTest модульная переменная: none

PurifyCommand

Укажите MemoryCheckCommand, который известен как совместимый с командной строкой Purify.

Сценарий CTest переменная: none
CTest модульная переменная: PURIFYCOMMAND

ValgrindCommand

Укажите MemoryCheckCommand, который известен как совместимый с командной строкой Valgrind.

Сценарий CTest переменная: none
CTest модульная переменная: VALGRIND_COMMAND

ValgrindCommandOptions

Укажите параметры командной строки для инструмента ValgrindCommand. Они будут размещены перед командой запуска теста.

Сценарий CTest переменная: none
CTest модульная переменная: VALGRIND_COMMAND_OPTIONS

DrMemoryCommand

Укажите MemoryCheckCommand, который известен как совместимый с командной строкой DrMemory.

Сценарий CTest переменная: none
CTest модульная переменная: DRMEMORY_COMMAND

DrMemoryCommandOptions

Укажите параметры командной строки для инструмента DrMemoryCommand. Они будут размещены перед командой запуска теста.

Сценарий CTest переменная: none
CTest модульная переменная: DRMEMORY_COMMAND_OPTIONS

CudaSanitizerCommand

Укажите MemoryCheckCommand, который известен как совместимый с командной строкой cuda-memcheck или compute-sanitizer.

Сценарий CTest переменная: none
CTest модульная переменная: CUDA_SANITIZER_COMMAND

CudaSanitizerCommandOptions

Укажите параметры командной строки для инструмента CudaSanitizerCommand. Они будут размещены перед командой запуска теста.

Сценарий CTest переменная: none
CTest модульная переменная: CUDA_SANITIZER_COMMAND_OPTIONS

Шаг CTest Submit

В Сценарии CTest, команда ctest_submit() выполняет этот шаг. Аргументы команды могут указать некоторые настройки шага.

Настройки конфигурации включают:

BuildName

Опишите платформу клиента панели мониторинга с помощью короткой строки. (Операционная система, компилятор и т. д.)

Сценарий CTest переменная: CTEST_BUILD_NAME
CTest переменная модуля: BUILDNAME

CDashVersion

Устаревшая опция. Не используется.

Сценарий CTest переменная: отсутствует, определена из сервера
CTest переменная модуля: CTEST_CDASH_VERSION

CTestSubmitRetryCount

Укажите количество попыток повторной отправки при сбое сети.

Сценарий CTest переменная: отсутствует, используйте опцию ctest_submit() RETRY_COUNT.
CTest переменная модуля: CTEST_SUBMIT_RETRY_COUNT

CTestSubmitRetryDelay

Укажите задержку перед повторной отправкой при сбое сети.

Сценарий CTest переменная: отсутствует, используйте опцию ctest_submit() RETRY_DELAY.
CTest переменная модуля: CTEST_SUBMIT_RETRY_DELAY

CurlOptions

Укажите список опций, разделенных точкой с запятой, для управления библиотекой Curl, которую CTest использует для подключения к серверу. Возможные опции — CURLOPT_SSL_VERIFYPEER_OFF и CURLOPT_SSL_VERIFYHOST_OFF.

Сценарий CTest переменная: CTEST_CURL_OPTIONS
CTest переменная модуля: CTEST_CURL_OPTIONS

DropLocation