Тестирование модулей

Base.runtests(tests=["all"]; ncores=ceil(Int, Sys.CPU_THREADS / 2),
              exit_on_error=false, revise=false, [seed])

Запустите юнит-тесты Julia, перечисленные в tests, которые могут быть строкой или массивом строк, используя ncores процессоры. Если exit_on_error равно false, при неудаче одного теста, все оставшиеся тесты в других файлах всё равно будут выполнены; в противном случае они будут отброшены, когда exit_on_error == true. Если revise равно true, пакет Revise используется для загрузки любых изменений в Base или в стандартные библиотеки перед запуском тестов. Если seed (начальное значение) предоставляется через ключевой аргумент, оно используется для инициализации глобального генератора случайных чисел в контексте, где выполняются тесты; в противном случае seed выбирается случайным образом.

@test ex
@test f(args...) key=val ...
@test ex broken=true
@test ex skip=true

Проверить, что выражение ex вычисляется до true. Если выполняется внутри @testset, возвращает Pass Result, если это так, Fail Result, если это false, и Error Result, если вычисление невозможно. Если выполняется вне @testset, вместо возврата Fail или Error генерируется исключение.

Примеры

julia> @test true
Test Passed

julia> @test [1, 2] + [2, 1] == [3, 3]
Test Passed

Форма @test f(args...) key=val... эквивалентна записи @test f(args..., key=val...), что может быть полезно, когда выражение представляет собой вызов с использованием инфиксной синтаксической конструкции, такой как приблизительные сравнения:

julia> @test π ≈ 3.14 atol=0.01
Test Passed

Это эквивалентно более громоздкому тесту @test ≈(π, 3.14, atol=0.01). Не допускается предоставление более одного выражения, если первое не является выражением вызова, а остальные — присваиваниями (k=v).

Вы можете использовать любой ключ для аргументов key=val, за исключением broken и skip, которые имеют специальное значение в контексте @test:

• broken=cond указывает на тест, который должен пройти, но в настоящее время постоянно терпит неудачу, когда cond==true. Тестирует, что выражение ex вычисляется до false или вызывает исключение. Возвращает Broken Result в случае успеха, или Error Result в случае, если выражение вычисляется до true. Регулярное @test ex вычисляется, когда cond==false.
• skip=cond отмечает тест, который не должен выполняться, но должен включаться в отчет о результатах тестирования как Broken, когда cond==true. Это может быть полезно для тестов, которые время от времени терпят неудачу, или тестов для функциональности, которая еще не реализована. Регулярное @test ex вычисляется, когда cond==false.

Примеры

julia> @test 2 + 2 ≈ 6 atol=1 broken=true
Test Broken
  Expression: ≈(2 + 2, 6, atol = 1)

julia> @test 2 + 2 ≈ 5 atol=1 broken=false
Test Passed

julia> @test 2 + 2 == 5 skip=true
Test Broken
  Skipped: 2 + 2 == 5

julia> @test 2 + 2 == 4 skip=false
Test Passed

@test_throws exception expr

Проверяет, что выражение expr вызывает исключение exception. Исключение может указывать либо тип, либо строку, либо регулярное выражение, либо список строк, встречающихся в сообщении об ошибке, функцию сопоставления или значение (которое будет проверено на равенство путем сравнения полей). Обратите внимание, что @test_throws не поддерживает заключительную форму ключевого слова.

Примеры

julia> @test_throws BoundsError [1, 2, 3][4]
Test Passed
      Thrown: BoundsError

julia> @test_throws DimensionMismatch [1, 2, 3] + [1, 2]
Test Passed
      Thrown: DimensionMismatch

julia> @test_throws "Try sqrt(Complex" sqrt(-1)
Test Passed
     Message: "DomainError with -1.0:\nsqrt was called with a negative real argument but will only return a complex result if called with a complex argument. Try sqrt(Complex(x))."

В последнем примере, вместо сопоставления одной строки, можно было бы использовать:

• ["Try", "Complex"] (список строк)
• r"Try sqrt\([Cc]omplex" (регулярное выражение)
• str -> occursin("complex", str) (функция сопоставления)

@testset [CustomTestSet] [options...] ["description"] begin test_ex end
@testset [CustomTestSet] [options...] ["description $v"] for v in itr test_ex end
@testset [CustomTestSet] [options...] ["description $v, $w"] for v in itrv, w in itrw test_ex end
@testset [CustomTestSet] [options...] ["description"] test_func()
@testset let v = v, w = w; test_ex; end

С началом/концом или вызовом функции

При использовании @testset, с begin/end или одиночным вызовом функции, макрос начинает новый набор тестов, в котором нужно оценить заданное выражение.

Если тип пользовательского набора тестов не указан, по умолчанию создается DefaultTestSet. DefaultTestSet записывает все результаты и, если есть какие-либо Fail или Error , генерирует исключение в конце набора тестов верхнего уровня (не вложенных), вместе с резюме результатов тестов.

Любой пользовательский тип набора тестов (подтип AbstractTestSet) может быть задан, и он также будет использоваться для всех вложенных вызовов @testset. Заданные параметры применяются только к набору тестов, где они заданы. Тип набора тестов по умолчанию принимает три логических параметра:

• verbose: если true, то резюме результатов вложенных наборов тестов отображается даже при их успешном выполнении (по умолчанию false).
• showtiming: если true, то длительность отображения каждого набора тестов отображается (по умолчанию true).
• failfast: если true, любое тестовое завершение неудачей или ошибка заставят набор тестов и любые дочерние наборы тестов возвратиться немедленно (по умолчанию false). Это также можно установить глобально через переменную среды JULIA_TEST_FAILFAST.

Строка описания принимает интерполяцию из индексов цикла. Если описание не предоставлено, оно создается на основе переменных. Если предоставлен вызов функции, его имя будет использоваться. Явные строки описания переопределяют это поведение.

По умолчанию макрос @testset возвращает сам объект набора тестов, хотя это поведение можно настроить в других типах наборов тестов. Если используется цикл for, макрос собирает и возвращает список возвращаемых значений метода finish, который по умолчанию возвращает список объектов наборов тестов, используемых в каждом цикле.

Перед выполнением тела @testset, неявно вызывается Random.seed!(seed), где seed - текущее значение генератора случайных чисел глобального RNG. Кроме того, после выполнения тела состояние глобального RNG восстанавливается до состояния до вызова @testset. Это призвано облегчить воспроизводимость в случае сбоя и позволить беспрепятственную перестановку @testset независимо от их влияния на состояние глобального RNG.

Примеры

julia> @testset "trigonometric identities" begin
           θ = 2/3*π
           @test sin(-θ) ≈ -sin(θ)
           @test cos(-θ) ≈ cos(θ)
           @test sin(2θ) ≈ 2*sin(θ)*cos(θ)
           @test cos(2θ) ≈ cos(θ)^2 - sin(θ)^2
       end;
Test Summary:            | Pass  Total  Time
trigonometric identities |    4      4  0.2s

@testset for

При использовании @testset for, макрос запускает новый тест для каждого цикла предоставленного цикла. Семантика каждого набора тестов в остальном идентична случаю begin/end (как если бы он использовался для каждого цикла).

@testset let

При использовании @testset let, макрос запускает прозрачный набор тестов с добавлением заданного объекта в качестве контекстного объекта к любому не пройденному тесту, содержащемуся в нём. Это полезно при выполнении набора связанных тестов на одном большом объекте, и желательно напечатать этот большой объект, когда любой из отдельных тестов завершится неудачей. Прозрачные наборы тестов не добавляют дополнительных уровней вложенности в иерархии наборов тестов и передаются напрямую родительскому набору тестов (с добавленным контекстным объектом к любым не пройденным тестам).

Примеры

julia> @testset let logi = log(im)
           @test imag(logi) == π/2
           @test !iszero(real(logi))
       end
Test Failed at none:3
  Expression: !(iszero(real(logi)))
     Context: logi = 0.0 + 1.5707963267948966im

ERROR: There was an error during testing

julia> @testset let logi = log(im), op = !iszero
           @test imag(logi) == π/2
           @test op(real(logi))
       end
Test Failed at none:3
  Expression: op(real(logi))
     Context: logi = 0.0 + 1.5707963267948966im
              op = !iszero

ERROR: There was an error during testing

TestSetException

Выбрасывается, когда набор тестов завершается, и не все тесты пройдены.

@test_logs [log_patterns...] [keywords] expression

Собирает список записей журналов, сгенерированных с помощью expression с использованием collect_test_logs, проверяет, что они соответствуют последовательности log_patterns, и возвращает значение expression. keywords предоставляют некоторую простую фильтрацию записей журналов: ключевое слово min_level управляет минимальным уровнем журнала, который будет собран для теста, ключевое слово match_mode определяет, как будет выполняться соответствие (по умолчанию :all проверяет, что все журналы и шаблоны соответствуют попарно; используйте :any чтобы проверить, что шаблон соответствует хотя бы один раз где-то в последовательности).

Наиболее полезный шаблон журнала - это простой кортеж вида (level,message). Разное количество элементов кортежа может быть использовано для соответствия другой метаданным журнала, соответствующим аргументам, переданным в AbstractLogger через функцию handle_message: (level,message,module,group,id,file,line). Присутствующие элементы будут сопоставлены попарно с полями записей журналов с помощью == по умолчанию, при этом специальные случаи, что Symbol могут быть использованы для стандартных уровней журналов, а Regex в шаблоне будут соответствовать строковым или символьным полям с помощью occursin.

Примеры

Рассмотрим функцию, которая записывает предупреждение и несколько сообщений отладки:

function foo(n)
    @info "Doing foo with n=$n"
    for i=1:n
        @debug "Iteration $i"
    end
    42
end

Мы можем проверить сообщение info с помощью

@test_logs (:info,"Doing foo with n=2") foo(2)

Если мы также хотели проверить сообщения отладки, их нужно включить с помощью ключевого слова min_level:

using Logging
@test_logs (:info,"Doing foo with n=2") (:debug,"Iteration 1") (:debug,"Iteration 2") min_level=Logging.Debug foo(2)

Если вы хотите проверить, что генерируются некоторые определённые сообщения, игнорируя остальные, вы можете установить ключевое слово match_mode=:any:

using Logging
@test_logs (:info,) (:debug,"Iteration 42") min_level=Logging.Debug match_mode=:any foo(100)

Макрос можно объединить с @test , чтобы также проверить возвращаемое значение:

@test (@test_logs (:info,"Doing foo with n=2") foo(2)) == 42

Если вы хотите проверить отсутствие предупреждений, вы можете опустить указание шаблонов журналов и соответствующим образом установить min_level:

# test that the expression logs no messages when the logger level is warn:
@test_logs min_level=Logging.Warn @info("Some information") # passes
@test_logs min_level=Logging.Warn @warn("Some information") # fails

Если вы хотите проверить отсутствие предупреждений (или сообщений об ошибках) в stderr, которые не генерируются @warn, см. @test_nowarn.

TestLogger(; min_level=Info, catch_exceptions=false)

Создает TestLogger, который собирает зарегистрированные сообщения в своём поле logs::Vector{LogRecord}.

Установите min_level для управления LogLevel, catch_exceptions для того, чтобы исключения, брошенные как часть генерации событий журнала, обрабатывались, и respect_maxlog для того, чтобы следовать соглашению о регистрации сообщений с maxlog=n для некоторого целого n не более n раз.

См. также: LogRecord.

Пример

julia> using Test, Logging

julia> f() = @info "Hi" number=5;

julia> test_logger = TestLogger();

julia> with_logger(test_logger) do
           f()
           @info "Bye!"
       end

julia> @test test_logger.logs[1].message == "Hi"
Test Passed

julia> @test test_logger.logs[1].kwargs[:number] == 5
Test Passed

julia> @test test_logger.logs[2].message == "Bye!"
Test Passed

LogRecord

Хранит результаты одного события журнала. Поля:

• level: LogLevel сообщения журнала
• message: текстовое содержимое сообщения журнала
• _module: модуль события журнала
• group: группа регистрации (по умолчанию, имя файла, содержащего событие журнала)
• id: идентификатор события журнала
• file: файл, содержащий событие журнала
• line: строка в файле события журнала
• kwargs: любые ключевые аргументы, переданные в событие журнала

@inferred [AllowedType] f(x)

Проверяет, что выражение вызова f(x) возвращает значение того же типа, что и тип, определённый компилятором. Это полезно для проверки стабильности типов.

f(x) может быть любым выражением вызова. Возвращает результат f(x), если типы совпадают, и Error Result, если обнаруживаются разные типы.

Необязательно, AllowedType ослабляет проверку, делая её успешной, если тип f(x) совпадает с выведенным типом по модулю AllowedType, или если возвращаемый тип является подтипом AllowedType. Это полезно для проверки стабильности типов функций, возвращающих небольшое объединение, например, Union{Nothing, T} или Union{Missing, T}.

julia> f(a) = a > 1 ? 1 : 1.0
f (generic function with 1 method)

julia> typeof(f(2))
Int64

julia> @code_warntype f(2)
MethodInstance for f(::Int64)
  from f(a) @ Main none:1
Arguments
  #self#::Core.Const(f)
  a::Int64
Body::UNION{FLOAT64, INT64}
1 ─ %1 = (a > 1)::Bool
└──      goto #3 if not %1
2 ─      return 1
3 ─      return 1.0

julia> @inferred f(2)
ERROR: return type Int64 does not match inferred return type Union{Float64, Int64}
[...]

julia> @inferred max(1, 2)
2

julia> g(a) = a < 10 ? missing : 1.0
g (generic function with 1 method)

julia> @inferred g(20)
ERROR: return type Float64 does not match inferred return type Union{Missing, Float64}
[...]

julia> @inferred Missing g(20)
1.0

julia> h(a) = a < 10 ? missing : f(a)
h (generic function with 1 method)

julia> @inferred Missing h(20)
ERROR: return type Int64 does not match inferred return type Union{Missing, Float64, Int64}
[...]

@test_deprecated [pattern] expression

Если --depwarn=yes, проверяет, что expression генерирует предупреждение о устаревании и возвращает значение expression. Строка сообщения журнала будет сопоставлена с pattern, по умолчанию r"deprecated"i.

Если --depwarn=no, просто возвращает результат выполнения expression. Если --depwarn=error, проверяет, что возникает исключение ErrorException.

Примеры

# Deprecated in julia 0.7
@test_deprecated num2hex(1)

# The returned value can be tested by chaining with @test:
@test (@test_deprecated num2hex(1)) == "0000000000000001"

@test_warn msg expr

Проверяет, приводит ли вычисление expr к выводу stderr, содержащему строку msg или соответствует ли регулярному выражению msg. Если msg — это булева функция, проверяет, возвращает ли msg(output) значение true. Если msg — это кортеж или массив, проверяет, содержит ли вывод об ошибках каждый элемент в msg. Возвращает результат вычисления expr.

См. также @test_nowarn для проверки отсутствия вывода об ошибках.

Примечание: Предупреждения, сгенерированные @warn, не могут быть проверены с помощью этого макроса. Используйте @test_logs вместо этого.

@test_nowarn expr

Проверяет, приводит ли вычисление expr к пустому выводу stderr (без предупреждений или других сообщений). Возвращает результат вычисления expr.

Примечание: Отсутствие предупреждений, сгенерированных @warn, не может быть проверено с помощью этого макроса. Используйте @test_logs вместо этого.

@test_broken ex
@test_broken f(args...) key=val ...

Указывает на тест, который должен пройти, но в настоящее время постоянно завершается ошибкой. Проверяет, что выражение ex вычисляется в false или вызывает исключение. Возвращает Broken Result в случае успеха или Error Result в случае, если выражение вычисляется в true. Это эквивалентно @test ex broken=true.

Форма @test_broken f(args...) key=val... работает так же, как для макроса @test.

Примеры

julia> @test_broken 1 == 2
Test Broken
  Expression: 1 == 2

julia> @test_broken 1 == 2 atol=0.1
Test Broken
  Expression: ==(1, 2, atol = 0.1)

@test_skip ex
@test_skip f(args...) key=val ...

Помечает тест, который не должен выполняться, но должен быть включён в отчёт о наборе тестов как Broken. Это может быть полезно для тестов, которые непредсказуемо завершаются ошибкой, или для тестов ещё не реализованных функций. Это эквивалентно @test ex skip=true.

Форма @test_skip f(args...) key=val... работает так же, как для макроса @test.

Примеры

julia> @test_skip 1 == 2
Test Broken
  Skipped: 1 == 2

julia> @test_skip 1 == 2 atol=0.1
Test Broken
  Skipped: ==(1, 2, atol = 0.1)

Test.Result

Все тесты производят объект результата. Этот объект может быть или не быть сохранён, в зависимости от того, является ли тест частью набора тестов.

Test.Pass <: Test.Result

Условие теста было истинным, т.е. выражение вычислялось в true или было выброшено правильное исключение.

Test.Fail <: Test.Result

Условие теста было ложным, т.е. выражение вычислялось в false или не было выброшено правильное исключение.

Test.Error <: Test.Result

Условие теста не удалось вычислить из-за исключения или оно вычислилось в значение, отличное от Bool. В случае @test_broken оно используется для указания того, что произошла непредвиденная Pass Result.

Test.Broken <: Test.Result

Условие теста является ожидаемым (неуспешным) результатом сломанного теста или было явно пропущено с помощью @test_skip.

record(ts::AbstractTestSet, res::Result)

Записывает результат в набор тестов. Эта функция вызывается инфраструктурой @testset каждый раз, когда завершается содержащий макрос @test, и получает результат теста (который может быть Error). Также она будет вызвана с Error при возникновении исключения внутри блока теста, но вне контекста @test.

finish(ts::AbstractTestSet)

Выполняет все необходимые действия по окончательной обработке для данного набора тестов. Это вызывается инфраструктурой @testset после выполнения блока теста.

Пользовательские подтипы AbstractTestSet должны вызывать record у своего родителя (если он есть), чтобы добавить себя в дерево результатов тестов. Это может быть реализовано как:

if get_testset_depth() != 0
    # Attach this test set to the parent test set
    parent_ts = get_testset()
    record(parent_ts, self)
    return self
end

get_testset()

Получить активный набор тестов из локального хранилища задачи. Если активный набор тестов отсутствует, использовать резервный набор по умолчанию.

get_testset_depth()

Возвращает количество активных наборов тестов, не включая набор тестов по умолчанию.

GenericArray может использоваться для тестирования API универсальных массивов, которые программируют на интерфейсе AbstractArray, чтобы гарантировать, что функции могут работать с типами массивов помимо стандартного типа Array.

GenericDict может использоваться для тестирования API универсальных словарей, которые программируют на интерфейсе AbstractDict, чтобы гарантировать, что функции могут работать с ассоциативными типами помимо стандартного типа Dict.

GenericOrder может использоваться для тестирования API в отношении поддержки универсальных упорядоченных типов.

GenericSet может использоваться для тестирования API универсальных множеств, которые программируют на интерфейсе AbstractSet, чтобы гарантировать, что функции могут работать с типами множеств помимо стандартных типов Set и BitSet.

GenericString может использоваться для тестирования API универсальных строк, которые программируют на интерфейсе AbstractString, чтобы гарантировать, что функции могут работать с типами строк помимо стандартного типа String.

detect_ambiguities(mod1, mod2...; recursive=false,
                                  ambiguous_bottom=false,
                                  allowed_undefineds=nothing)

Возвращает вектор пар (Method,Method) неоднозначных методов, определенных в указанных модулях. Используйте recursive=true для проверки во всех подмодулях.

ambiguous_bottom управляет включением неоднозначностей, возникающих только из-за Union{} параметров типа; в большинстве случаев вы, вероятно, захотите установить это значение в false. См. Base.isambiguous.

См. Test.detect_unbound_args для объяснения allowed_undefineds.

detect_unbound_args(mod1, mod2...; recursive=false, allowed_undefineds=nothing)

Возвращает вектор Method которые могут иметь неопределённые параметры типа. Используйте recursive=true для проверки во всех подмодулях.

По умолчанию любые неопределённые символы вызывают предупреждение. Это предупреждение можно подавить, предоставив коллекцию GlobalRef для которых предупреждение можно пропустить. Например,

allowed_undefineds = Set([GlobalRef(Base, :active_repl),
                          GlobalRef(Base, :active_repl_backend)])

подавало бы предупреждения о Base.active_repl и Base.active_repl_backend.