Тестирование модулей

Base.runtests(tests=["all"]; ncores=ceil(Int, Sys.CPU_THREADS / 2),
              exit_on_error=false, revise=false, [seed])

Запустить модульные тесты Julia, перечисленные в tests, которые могут быть строкой или массивом строк, используя ncores обработчики. Если exit_on_error равно false, при провале одного теста, все оставшиеся тесты в других файлах все равно будут запущены; в противном случае они отбрасываются, когда exit_on_error == true. Если revise равно true, используется пакет Revise, чтобы загрузить любые изменения в Base или стандартные библиотеки перед запуском тестов. Если для ключевого аргумента указано значение семени, оно используется для задания глобального генератора случайных чисел в контексте запуска тестов; в противном случае семя выбирается случайным образом.

@test ex
@test f(args...) key=val ...

Проверяет, что выражение ex вычисляется как true. Возвращает Pass Result если это так, Fail Result если это не так, и Error Result если оно не может быть вычислено.

Примеры

julia> @test true
Test Passed

julia> @test [1, 2] + [2, 1] == [3, 3]
Test Passed

Форма @test f(args...) key=val... эквивалентна записи @test f(args..., key=val...), что может быть полезно, когда выражение является вызовом с использованием инфиксной синтаксической конструкции, такой как приблизительные сравнения:

julia> @test π ≈ 3.14 atol=0.01
Test Passed

Это эквивалентно более громоздкому тесту @test ≈(π, 3.14, atol=0.01). Запрещено передавать более одного выражения, если первое не является выражением вызова, а остальные — присваиваниями (k=v).

@test_throws exception expr

Проверяет, что выражение expr вызывает exception. Исключение может указать тип или значение (которое будет проверено на равенство путем сравнения полей). Обратите внимание, что @test_throws не поддерживает заключительный ключевой параметр.

Примеры

julia> @test_throws BoundsError [1, 2, 3][4]
Test Passed
      Thrown: BoundsError

julia> @test_throws DimensionMismatch [1, 2, 3] + [1, 2]
Test Passed
      Thrown: DimensionMismatch

@testset [CustomTestSet] [option=val  ...] ["description"] begin ... end
@testset [CustomTestSet] [option=val  ...] ["description $v"] for v in (...) ... end
@testset [CustomTestSet] [option=val  ...] ["description $v, $w"] for v in (...), w in (...) ... end

Начинает новый набор тестов или несколько наборов тестов, если используется цикл for.

Если тип набора тестов не задан, используется DefaultTestSet. DefaultTestSet записывает все результаты и, если есть какие-либо Fail или Error, выбрасывает исключение в конце верхнего уровня (не вложенного) набора тестов вместе со сводкой результатов.

Любой пользовательский тип набора тестов (подтип AbstractTestSet) может быть задан, и он также будет использоваться для всех вложенных вызовов @testset. Указанные параметры применяются только к набору тестов, в котором они заданы. По умолчанию тип набора тестов не принимает никаких параметров.

Строка описания поддерживает интерполяцию из индексов цикла. Если описание не предоставлено, оно генерируется на основе переменных.

По умолчанию макрос @testset вернет сам объект набора тестов, хотя это поведение может быть изменено в других типах наборов тестов. Если используется цикл for, макрос собирает и возвращает список значений, возвращаемых методом finish, который по умолчанию возвращает список объектов наборов тестов, используемых в каждом цикле.

Перед выполнением тела @testset, происходит неявный вызов Random.seed!(seed), где seed — текущее семя глобального генератора случайных чисел. Кроме того, после выполнения тела состояние глобального генератора случайных чисел восстанавливается до состояния, которое было до @testset. Это призвано облегчить воспроизводимость в случае сбоя и позволить беспрепятственную перегруппировку @testset независимо от их влияния на состояние глобального генератора случайных чисел.

Примеры

julia> @testset "trigonometric identities" begin
           θ = 2/3*π
           @test sin(-θ) ≈ -sin(θ)
           @test cos(-θ) ≈ cos(θ)
           @test sin(2θ) ≈ 2*sin(θ)*cos(θ)
           @test cos(2θ) ≈ cos(θ)^2 - sin(θ)^2
       end;
Test Summary:            | Pass  Total
trigonometric identities |    4      4

@inferred [AllowedType] f(x)

Проверяет, что выражение вызова f(x) возвращает значение того же типа, что и инферируемый компилятором. Это полезно для проверки стабильности типа.

f(x) может быть любым выражением вызова. Возвращает результат f(x) если типы совпадают и Error Result если он обнаруживает разные типы.

Необязательно, AllowedType ослабляет тест, разрешая прохождение, когда либо тип f(x) совпадает с инферируемым типом, модуль AllowedType, или когда возвращаемый тип является подтипом AllowedType. Это полезно при тестировании стабильности типа функций, возвращающих небольшой союз, такой как Union{Nothing, T} или Union{Missing, T}.

julia> f(a) = a > 1 ? 1 : 1.0
f (generic function with 1 method)

julia> typeof(f(2))
Int64

julia> @code_warntype f(2)
Variables
  #self#::Core.Compiler.Const(f, false)
  a::Int64

Body::UNION{FLOAT64, INT64}
1 ─ %1 = (a > 1)::Bool
└──      goto #3 if not %1
2 ─      return 1
3 ─      return 1.0

julia> @inferred f(2)
ERROR: return type Int64 does not match inferred return type Union{Float64, Int64}
[...]

julia> @inferred max(1, 2)
2

julia> g(a) = a < 10 ? missing : 1.0
g (generic function with 1 method)

julia> @inferred g(20)
ERROR: return type Float64 does not match inferred return type Union{Missing, Float64}
[...]

julia> @inferred Missing g(20)
1.0

julia> h(a) = a < 10 ? missing : f(a)
h (generic function with 1 method)

julia> @inferred Missing h(20)
ERROR: return type Int64 does not match inferred return type Union{Missing, Float64, Int64}
[...]

@test_logs [log_patterns...] [keywords] expression

Соберите список записей логов, сгенерированных expression с помощью collect_test_logs, проверьте, что они соответствуют последовательности log_patterns, и верните значение expression. keywords предоставляют некоторую простую фильтрацию записей логов: ключевое слово min_level управляет минимальным уровнем лога, который будет собираться для теста, ключевое слово match_mode определяет, как будет выполняться сопоставление (по умолчанию :all проверяет, что все логи и шаблоны соответствуют попарно; используйте :any для проверки, что шаблон соответствует хотя бы одному разу в последовательности).

Наиболее полезный шаблон лога — это простой кортеж вида (level,message). Разное количество элементов кортежа может быть использовано для сопоставления других метаданных логов, соответствующих аргументам, переданным AbstractLogger через функцию handle_message: (level,message,module,group,id,file,line). Наличие элементов будет попарно сопоставляться с полями записей лога с использованием == по умолчанию, со специальными случаями, что Symbol могут использоваться для стандартных уровней логов, и Regex в шаблоне будут соответствовать строковым или символьным полям с использованием occursin.

Примеры

Рассмотрим функцию, которая записывает предупреждение и несколько сообщений отладки:

function foo(n)
    @info "Doing foo with n=$n"
    for i=1:n
        @debug "Iteration $i"
    end
    42
end

Мы можем протестировать сообщение info, используя

@test_logs (:info,"Doing foo with n=2") foo(2)

Если мы также хотели протестировать сообщения отладки, их необходимо включить с помощью ключевого слова min_level:

@test_logs (:info,"Doing foo with n=2") (:debug,"Iteration 1") (:debug,"Iteration 2") min_level=Debug foo(2)

Если вы хотите проверить, что некоторые конкретные сообщения генерируются, игнорируя остальные, вы можете установить ключевое слово match_mode=:any:

@test_logs (:info,) (:debug,"Iteration 42") min_level=Debug match_mode=:any foo(100)

Макрос может быть скопирован с @test для тестирования возвращаемого значения:

@test (@test_logs (:info,"Doing foo with n=2") foo(2)) == 42

@test_deprecated [pattern] expression

Когда --depwarn=yes, проверьте, что expression генерирует предупреждение о устаревании и верните значение expression. Строка сообщения лога будет сопоставляться с pattern, которая по умолчанию равна r"deprecated"i.

Когда --depwarn=no, просто верните результат выполнения expression Когда --depwarn=error, проверьте, что выброшено исключение ErrorException.

Примеры

# Deprecated in julia 0.7
@test_deprecated num2hex(1)

# The returned value can be tested by chaining with @test:
@test (@test_deprecated num2hex(1)) == "0000000000000001"

@test_warn msg expr

Проверьте, приводит ли вычисление expr к выводу в stderr, содержащему строку msg или соответствует регулярному выражению msg. Если msg — это булева функция, проверяет, возвращает ли msg(output) значение true. Если msg — это кортеж или массив, проверяет, содержит ли/соответствует ли вывод об ошибке каждый элемент в msg. Возвращает результат вычисления expr.

См. также @test_nowarn для проверки отсутствия вывода об ошибках.

Примечание: предупреждения, сгенерированные @warn , нельзя проверить с помощью этого макроса. Используйте @test_logs вместо этого.

@test_nowarn expr

Проверьте, приводит ли вычисление expr к пустому выводу stderr (нет предупреждений или других сообщений). Возвращает результат вычисления expr.

Примечание: отсутствие предупреждений, сгенерированных @warn , нельзя проверить с помощью этого макроса. Используйте @test_logs expr вместо этого.

@test_broken ex
@test_broken f(args...) key=val ...

Указывает на тест, который должен пройти, но в настоящее время постоянно завершается неудачно. Проверяет, что выражение ex вычисляется до false или вызывает исключение. Возвращает Broken Result, если это так, или Error Result, если выражение вычисляется до true.

Форма @test_broken f(args...) key=val... работает аналогично макросу @test.

Примеры

julia> @test_broken 1 == 2
Test Broken
  Expression: 1 == 2

julia> @test_broken 1 == 2 atol=0.1
Test Broken
  Expression: ==(1, 2, atol = 0.1)

@test_skip ex
@test_skip f(args...) key=val ...

Помечает тест, который не должен выполняться, но должен быть включен в отчет о результатах тестов как Broken. Это может быть полезно для тестов, которые периодически завершаются неудачно, или для тестов еще не реализованной функциональности.

Форма @test_skip f(args...) key=val... работает аналогично макросу @test.

Примеры

julia> @test_skip 1 == 2
Test Broken
  Skipped: 1 == 2

julia> @test_skip 1 == 2 atol=0.1
Test Broken
  Skipped: ==(1, 2, atol = 0.1)

record(ts::AbstractTestSet, res::Result)

Записывает результат в набор тестов. Эта функция вызывается инфраструктурой @testset каждый раз, когда завершается содержащий макрос @test, и получает результат теста (который может быть Error). Это также будет вызвано с Error, если исключение будет брошено внутри блока теста, но вне контекста @test.

finish(ts::AbstractTestSet)

Выполняет все необходимые заключительные обработки для заданного набора тестов. Это вызывается инфраструктурой @testset после выполнения блока теста. Одно из распространенных применений этой функции — запись набора тестов в список результатов родительского элемента с использованием get_testset.

get_testset()

Извлечение активного набора тестов из локального хранилища задачи. Если активный набор тестов отсутствует, используйте резервный набор тестов по умолчанию.

get_testset_depth()

Возвращает количество активных наборов тестов, не включая набор тестов по умолчанию