Тестирование модулей

Base.runtests(tests=["all"]; ncores=ceil(Int, Sys.CPU_THREADS / 2),
              exit_on_error=false, revise=false, [seed])

Запустите тесты модулей Julia, перечисленные в tests, которые могут быть строкой или массивом строк, используя процессоры ncores. Если exit_on_error равно false, при неудаче одного теста, все оставшиеся тесты в других файлах всё равно будут запущены; в противном случае они отбрасываются, когда exit_on_error == true. Если revise равно true, пакет Revise используется для загрузки любых изменений в Base или стандартных библиотеках перед запуском тестов. Если используется seed через ключевой аргумент, он используется для инициализации глобального генератора случайных чисел в контексте, где выполняются тесты; в противном случае seed выбирается случайным образом.

@test ex
@test f(args...) key=val ...
@test ex broken=true
@test ex skip=true

Проверить, что выражение ex вычисляется до true. Если выполняется внутри @testset, возвращает Pass Result, если верно, Fail Result, если ложно, и Error Result, если не удалось вычислить. Если выполняется вне @testset, бросает исключение вместо возврата Fail или Error.

Примеры

julia> @test true
Test Passed

julia> @test [1, 2] + [2, 1] == [3, 3]
Test Passed

Форма @test f(args...) key=val... эквивалентна записи @test f(args..., key=val...), что может быть полезно, когда выражение является вызовом с использованием инфиксной синтаксики, такой как приблизительные сравнения:

julia> @test π ≈ 3.14 atol=0.01
Test Passed

Это эквивалентно более громоздкому тесту @test ≈(π, 3.14, atol=0.01). Не допускается передавать более одного выражения, если первое не является выражением вызова, а остальные – присваиваниями (k=v).

Вы можете использовать любые ключи для аргументов key=val, кроме broken и skip, которые имеют специальное значение в контексте @test:

• broken=cond указывает на тест, который должен пройти, но в настоящее время постоянно терпит неудачу при cond==true. Проверяет, что выражение ex вычисляется до false или вызывает исключение. Возвращает Broken Result если выполняется, или Error Result если выражение вычисляется до true. Регулярный @test ex вычисляется при cond==false.
• skip=cond помечает тест, который не должен выполняться, но должен быть включён в отчёт о результатах тестов как Broken, когда cond==true. Это может быть полезно для тестов, которые периодически терпят неудачу, или для тестов нереализованной функциональности. Регулярный @test ex вычисляется при cond==false.

Примеры

julia> @test 2 + 2 ≈ 6 atol=1 broken=true
Test Broken
  Expression: ≈(2 + 2, 6, atol = 1)

julia> @test 2 + 2 ≈ 5 atol=1 broken=false
Test Passed

julia> @test 2 + 2 == 5 skip=true
Test Broken
  Skipped: 2 + 2 == 5

julia> @test 2 + 2 == 4 skip=false
Test Passed

@test_throws exception expr

Проверяет, что выражение expr бросает исключение exception. Исключение может указывать тип, строку, регулярное выражение или список строк, встречающихся в сообщении об ошибке, функцию соответствия или значение (которое будет проверено на равенство путём сравнения полей). Обратите внимание, что @test_throws не поддерживает заключительную форму с ключевыми словами.

Примеры

julia> @test_throws BoundsError [1, 2, 3][4]
Test Passed
      Thrown: BoundsError

julia> @test_throws DimensionMismatch [1, 2, 3] + [1, 2]
Test Passed
      Thrown: DimensionMismatch

julia> @test_throws "Try sqrt(Complex" sqrt(-1)
Test Passed
     Message: "DomainError with -1.0:\nsqrt will only return a complex result if called with a complex argument. Try sqrt(Complex(x))."

В последнем примере вместо соответствия одной строке можно было бы использовать:

• ["Try", "Complex"] (список строк)
• r"Try sqrt\([Cc]omplex" (регулярное выражение)
• str -> occursin("complex", str) (функция соответствия)

@testset [CustomTestSet] [option=val  ...] ["description"] begin ... end
@testset [CustomTestSet] [option=val  ...] ["description $v"] for v in (...) ... end
@testset [CustomTestSet] [option=val  ...] ["description $v, $w"] for v in (...), w in (...) ... end
@testset [CustomTestSet] [option=val  ...] ["description"] foo()
@testset let v = (...) ... end

С begin/end или вызовом функции

При использовании `@testset`, с `begin/end` или единственным вызовом функции, макрос запускает новый набор тестов для вычисления заданного выражения.

Если тип набора тестов не указан, по умолчанию создаётся DefaultTestSet. DefaultTestSet сохраняет все результаты и, если есть какие-либо Fail или Error , генерирует исключение в конце верхнего уровня (не вложенного) набора тестов вместе со сводкой результатов.

Любой пользовательский тип набора тестов (подтип AbstractTestSet) может быть указан, и он также будет использован для любых вложенных вызовов `@testset`. Указанные параметры применяются только к набору тестов, в котором они указаны. По умолчанию набор тестов принимает три логических параметра:

• verbose: если true, сводка результатов вложенных наборов тестов отображается даже

если они все прошли (по умолчанию false).

• showtiming: если true, отображается продолжительность каждого набора тестов

(по умолчанию true).

• failfast: если true, любая неудача теста или ошибка заставят набор тестов и все дочерние наборы тестов вернуться немедленно (по умолчанию false). Это также может быть установлено глобально через переменную окружения JULIA_TEST_FAILFAST.

Строка описания принимает интерполяцию из индексов цикла. Если описание не предоставлено, оно создаётся на основе переменных. Если указан вызов функции, используется её имя. Явные строки описания переопределяют это поведение.

По умолчанию макрос `@testset` вернёт сам объект набора тестов, хотя это поведение может быть настраиваемо в других типах наборов тестов. Если используется цикл `for`, макрос собирает и возвращает список возвращаемых значений метода `testset`, который по умолчанию возвращает список объектов наборов тестов, используемых в каждой итерации.

Перед выполнением тела `@testset`, неявно вызывается Random.seed!(seed), где seed – текущий seed глобального генератора случайных чисел. Более того, после выполнения тела состояние глобального генератора случайных чисел восстанавливается до состояния, существовавшего до запуска @testset. Это призвано упростить воспроизводимость в случае сбоя и позволить беспрепятственно переупорядочивать @testset независимо от их влияния на состояние глобального генератора случайных чисел.

Примеры

julia> @testset "trigonometric identities" begin
           θ = 2/3*π
           @test sin(-θ) ≈ -sin(θ)
           @test cos(-θ) ≈ cos(θ)
           @test sin(2θ) ≈ 2*sin(θ)*cos(θ)
           @test cos(2θ) ≈ cos(θ)^2 - sin(θ)^2
       end;
Test Summary:            | Pass  Total  Time
trigonometric identities |    4      4  0.2s

@testset for

Когда используется `for`, макрос запускает новый тест для каждой итерации заданного цикла. Семантика каждого набора тестов в противном случае идентична случаю с `@testset` (как если бы он использовался для каждой итерации цикла).

@testset let

Когда используется `@testset`, макрос запускает прозрачный набор тестов с указанным объектом, добавленным в качестве контекстного объекта в любой терпящий неудачу тест, содержащийся в нём. Это полезно при выполнении набора связанных тестов для одного большего объекта, и при желании вывести этот больший объект, когда любой из отдельных тестов терпит неудачу. Прозрачные наборы тестов не вводят дополнительных уровней вложенности в иерархию наборов тестов и передаются непосредственно в родительский набор тестов (с контекстным объектом, добавленным в любой терпящий неудачу тест).

Примеры

julia> @testset let logi = log(im)
           @test imag(logi) == π/2
           @test !iszero(real(logi))
       end
Test Failed at none:3
  Expression: !(iszero(real(logi)))
     Context: logi = 0.0 + 1.5707963267948966im

ERROR: There was an error during testing

TestSetException

Выбрасывается, когда набор тестов завершается, и не все тесты пройдены.

@test_logs [log_patterns...] [keywords] expression

Собрать список записей журнала, сгенерированных expression с помощью collect_test_logs, проверить, что они соответствуют последовательности log_patterns, и вернуть значение expression. keywords предоставляют некоторые простые фильтры записей журнала: ключевое слово min_level управляет минимальным уровнем журнала, который будет собран для теста, ключевое слово match_mode определяет, как будет выполняться сопоставление (по умолчанию :all проверяет, что все журналы и шаблоны соответствуют друг другу попарно; используйте :any для проверки, что шаблон соответствует хотя бы одному разу в последовательности).

Самым полезным шаблоном журнала является простой кортеж вида (level,message). Можно использовать различное количество элементов кортежа для соответствия другим данным журнала, соответствующим аргументам, переданным AbstractLogger с помощью функции handle_message: (level,message,module,group,id,file,line). Наличие элементов будет сопоставлено попарно с полями записи журнала с использованием == по умолчанию, со специальными случаями, что Symbol могут использоваться для стандартных уровней журнала, а Regex в шаблоне будут сопоставляться строковым или символическим полям с использованием occursin.

Примеры

Рассмотрим функцию, которая записывает предупреждение и несколько отладочных сообщений:

function foo(n)
    @info "Doing foo with n=$n"
    for i=1:n
        @debug "Iteration $i"
    end
    42
end

Мы можем проверить сообщение info с помощью

@test_logs (:info,"Doing foo with n=2") foo(2)

Если мы также хотим протестировать отладочные сообщения, их необходимо включить с помощью ключевого слова min_level:

using Logging
@test_logs (:info,"Doing foo with n=2") (:debug,"Iteration 1") (:debug,"Iteration 2") min_level=Logging.Debug foo(2)

Если вы хотите проверить, что некоторые конкретные сообщения генерируются, игнорируя остальные, вы можете установить ключевое слово match_mode=:any:

using Logging
@test_logs (:info,) (:debug,"Iteration 42") min_level=Logging.Debug match_mode=:any foo(100)

Макрос можно объединить с @test для проверки возвращаемого значения:

@test (@test_logs (:info,"Doing foo with n=2") foo(2)) == 42

Если вы хотите проверить отсутствие предупреждений, вы можете опустить указание шаблонов журнала и установить min_level соответственно:

# test that the expression logs no messages when the logger level is warn:
@test_logs min_level=Logging.Warn @info("Some information") # passes
@test_logs min_level=Logging.Warn @warn("Some information") # fails

Если вы хотите проверить отсутствие предупреждений (или сообщений об ошибках) в stderr, которые не генерируются @warn, см. @test_nowarn.

TestLogger(; min_level=Info, catch_exceptions=false)

Создать TestLogger, который захватывает записанные сообщения в поле logs::Vector{LogRecord}.

Установите min_level для управления LogLevel, catch_exceptions для того, чтобы исключить или включить перехват исключений, брошенных в рамках генерации события журнала, и respect_maxlog для включения или выключения соглашения о логировании сообщений с maxlog=n для некоторого целого n не более чем n раз.

См. также: LogRecord.

Пример

julia> using Test, Logging

julia> f() = @info "Hi" number=5;

julia> test_logger = TestLogger();

julia> with_logger(test_logger) do
           f()
           @info "Bye!"
       end

julia> @test test_logger.logs[1].message == "Hi"
Test Passed

julia> @test test_logger.logs[1].kwargs[:number] == 5
Test Passed

julia> @test test_logger.logs[2].message == "Bye!"
Test Passed

LogRecord

Хранит результаты одного события журнала. Поля:

• level: уровень LogLevel сообщения журнала
• message: текстовое содержание сообщения журнала
• _module: модуль события журнала
• group: группа логирования (по умолчанию имя файла, содержащего событие журнала)
• id: идентификатор события журнала
• file: файл, содержащий событие журнала
• line: строка в файле события журнала
• kwargs: любые ключевые аргументы, переданные в событие журнала

@inferred [AllowedType] f(x)

Проверяет, что выражение вызова f(x) возвращает значение того же типа, что и тип, определенный компилятором. Это полезно для проверки стабильности типов.

f(x) может быть любым выражением вызова. Возвращает результат f(x) в случае совпадения типов и Error Result в случае обнаружения различных типов.

Необязательно, AllowedType делает тест более гибким, позволяя ему проходить, когда либо тип f(x) соответствует выведенному типу с учетом AllowedType, либо когда возвращаемый тип является подтипом AllowedType. Это полезно при проверке стабильности типов функций, возвращающих небольшое объединение, например Union{Nothing, T} или Union{Missing, T}.

julia> f(a) = a > 1 ? 1 : 1.0
f (generic function with 1 method)

julia> typeof(f(2))
Int64

julia> @code_warntype f(2)
MethodInstance for f(::Int64)
  from f(a) @ Main none:1
Arguments
  #self#::Core.Const(f)
  a::Int64
Body::UNION{FLOAT64, INT64}
1 ─ %1 = (a > 1)::Bool
└──      goto #3 if not %1
2 ─      return 1
3 ─      return 1.0

julia> @inferred f(2)
ERROR: return type Int64 does not match inferred return type Union{Float64, Int64}
[...]

julia> @inferred max(1, 2)
2

julia> g(a) = a < 10 ? missing : 1.0
g (generic function with 1 method)

julia> @inferred g(20)
ERROR: return type Float64 does not match inferred return type Union{Missing, Float64}
[...]

julia> @inferred Missing g(20)
1.0

julia> h(a) = a < 10 ? missing : f(a)
h (generic function with 1 method)

julia> @inferred Missing h(20)
ERROR: return type Int64 does not match inferred return type Union{Missing, Float64, Int64}
[...]

@test_deprecated [pattern] expression

При --depwarn=yes, проверьте, что expression генерирует предупреждение о устаревании, и верните значение expression. Строка сообщения журнала будет сопоставлена с pattern, которая по умолчанию равна r"deprecated"i.

При --depwarn=no, просто верните результат выполнения expression. При --depwarn=error, проверьте, что сгенерировано исключение ErrorException.

Примеры

# Deprecated in julia 0.7
@test_deprecated num2hex(1)

# The returned value can be tested by chaining with @test:
@test (@test_deprecated num2hex(1)) == "0000000000000001"

@test_warn msg expr

Проверить, приводит ли оценка expr к выводу в stderr, который содержит строку msg или соответствует регулярному выражению msg. Если msg - булева функция, проверить, возвращает ли msg(output) значение true. Если msg - кортеж или массив, проверить, содержит ли вывод об ошибке каждый элемент в msg. Возвращает результат оценки expr.

См. также @test_nowarn для проверки отсутствия вывода об ошибке.

Примечание: предупреждения, сгенерированные @warn, не могут быть проверены с помощью этого макроса. Используйте @test_logs вместо этого.

@test_nowarn expr

Проверить, приводит ли оценка expr к пустому выводу stderr (нет предупреждений или других сообщений). Возвращает результат оценки expr.

Примечание: отсутствие предупреждений, сгенерированных @warn, не может быть проверено с помощью этого макроса. Используйте @test_logs вместо этого.

@test_broken ex
@test_broken f(args...) key=val ...

Указывает тест, который должен быть пройден, но в настоящее время постоянно терпит неудачу. Проверяет, что выражение ex имеет значение false или вызывает исключение. Возвращает Broken Result в случае успеха или Error Result в случае, если выражение имеет значение true. Это эквивалентно @test ex broken=true.

Форма @test_broken f(args...) key=val... работает так же, как и для макроса @test.

Примеры

julia> @test_broken 1 == 2
Test Broken
  Expression: 1 == 2

julia> @test_broken 1 == 2 atol=0.1
Test Broken
  Expression: ==(1, 2, atol = 0.1)

@test_skip ex
@test_skip f(args...) key=val ...

Помечает тест, который не должен выполняться, но должен быть включен в отчет о результатах тестирования как Broken. Это может быть полезно для тестов, которые периодически терпят неудачу, или для тестов нереализованных функций. Это эквивалентно @test ex skip=true.

Форма @test_skip f(args...) key=val... работает так же, как и для макроса @test.

Примеры

julia> @test_skip 1 == 2
Test Broken
  Skipped: 1 == 2

julia> @test_skip 1 == 2 atol=0.1
Test Broken
  Skipped: ==(1, 2, atol = 0.1)

record(ts::AbstractTestSet, res::Result)

Запись результата в набор тестов. Эта функция вызывается инфраструктурой @testset каждый раз, когда завершается вложенный макрос @test, и получает результат теста (который может быть Error). Она также будет вызвана с Error, если во время блока теста, но вне контекста @test, произойдёт исключение.

finish(ts::AbstractTestSet)

Выполнение необходимой финальной обработки для данного набора тестов. Вызывается инфраструктурой @testset после выполнения блока теста.

Пользовательские подтипы AbstractTestSet должны вызывать record у своего родителя (если он есть), чтобы добавить себя в дерево результатов тестов. Это может быть реализовано следующим образом:

if get_testset_depth() != 0
    # Attach this test set to the parent test set
    parent_ts = get_testset()
    record(parent_ts, self)
    return self
end

get_testset()

Получение активного набора тестов из локального хранилища задачи. Если активный набор тестов отсутствует, используется набор тестов по умолчанию.

get_testset_depth()

Возвращает количество активных наборов тестов, не включая набор тестов по умолчанию.

GenericArray может использоваться для тестирования универсальных API массивов, ориентированных на интерфейс AbstractArray, чтобы убедиться, что функции могут работать с типами массивов помимо стандартного типа Array.

GenericDict может использоваться для тестирования универсальных API словарей, ориентированных на интерфейс AbstractDict, чтобы убедиться, что функции могут работать с ассоциативными типами помимо стандартного типа Dict.

GenericOrder может использоваться для тестирования API для поддержки универсальных упорядоченных типов.

GenericSet может использоваться для тестирования универсальных API множеств, ориентированных на интерфейс AbstractSet, чтобы убедиться, что функции могут работать с типами множеств помимо стандартных типов Set и BitSet.

GenericString может использоваться для тестирования универсальных API строк, ориентированных на интерфейс AbstractString, чтобы убедиться, что функции могут работать с типами строк помимо стандартного типа String.

detect_ambiguities(mod1, mod2...; recursive=false,
                                  ambiguous_bottom=false,
                                  allowed_undefineds=nothing)

Возвращает вектор пар (Method,Method) неоднозначных методов, определённых в указанных модулях. Используйте recursive=true для тестирования во всех подмодулях.

ambiguous_bottom управляет включением неоднозначностей, вызванных только параметрами типа Union{}; в большинстве случаев вы, вероятно, захотите установить это значение в false. См. Base.isambiguous.

См. Test.detect_unbound_args для объяснения allowed_undefineds.

detect_unbound_args(mod1, mod2...; recursive=false, allowed_undefineds=nothing)

Возвращает вектор Method , которые могут иметь свободные параметры типа. Используйте recursive=true для тестирования во всех подмодулях.

По умолчанию, любые неопределённые символы вызывают предупреждение. Это предупреждение можно подавить, предоставив коллекцию GlobalRef , для которых предупреждение можно пропустить. Например, установление

allow_undefineds = Set([GlobalRef(Base, :active_repl),
                        GlobalRef(Base, :active_repl_backend)])

позволит подавить предупреждения о Base.active_repl и Base.active_repl_backend.