модуль Benchmark
Модуль Benchmark предоставляет методы для измерения и отображения времени выполнения кода Ruby.
-
Измерить время построения строки, заданной выражением
"a"*1_000_000_000:require 'benchmark' puts Benchmark.measure { "a"*1_000_000_000 }На моём компьютере (OSX 10.8.3 на i5 1.7 ГГц) это генерирует:
0.350000 0.400000 0.750000 ( 0.835234)
Этот отчёт показывает время процессора пользователя, время процессора системы, сумму времени процессора пользователя и системы, а также реальное затраченное время. Единица времени — секунды.
-
Выполнить несколько экспериментов последовательно с помощью метода bm:
require 'benchmark' n = 5000000 Benchmark.bm do |x| x.report { for i in 1..n; a = "1"; end } x.report { n.times do ; a = "1"; end } x.report { 1.upto(n) do ; a = "1"; end } endРезультат:
user system total real 1.010000 0.000000 1.010000 ( 1.014479) 1.000000 0.000000 1.000000 ( 0.998261) 0.980000 0.000000 0.980000 ( 0.981335)
-
Продолжая предыдущий пример, добавить метку в каждый отчёт:
require 'benchmark' n = 5000000 Benchmark.bm(7) do |x| x.report("for:") { for i in 1..n; a = "1"; end } x.report("times:") { n.times do ; a = "1"; end } x.report("upto:") { 1.upto(n) do ; a = "1"; end } end
Результат:
user system total real for: 1.010000 0.000000 1.010000 ( 1.015688) times: 1.000000 0.000000 1.000000 ( 1.003611) upto: 1.030000 0.000000 1.030000 ( 1.028098)
-
Время для некоторых бенчмарков зависит от порядка выполнения элементов. Эти различия обусловлены стоимостью выделения памяти и сбора мусора. Чтобы избежать этих расхождений, предоставлен метод bmbm. Например, для сравнения способов сортировки массива чисел с плавающей точкой:
require 'benchmark' array = (1..1000000).map { rand } Benchmark.bmbm do |x| x.report("sort!") { array.dup.sort! } x.report("sort") { array.dup.sort } endРезультат:
Rehearsal ----------------------------------------- sort! 1.490000 0.010000 1.500000 ( 1.490520) sort 1.460000 0.000000 1.460000 ( 1.463025) -------------------------------- total: 2.960000sec user system total real sort! 1.460000 0.000000 1.460000 ( 1.460465) sort 1.450000 0.010000 1.460000 ( 1.448327) -
Отчёт о статистике последовательных экспериментов с уникальными метками, используя метод benchmark:
require 'benchmark' include Benchmark # we need the CAPTION and FORMAT constants n = 5000000 Benchmark.benchmark(CAPTION, 7, FORMAT, ">total:", ">avg:") do |x| tf = x.report("for:") { for i in 1..n; a = "1"; end } tt = x.report("times:") { n.times do ; a = "1"; end } tu = x.report("upto:") { 1.upto(n) do ; a = "1"; end } [tf+tt+tu, (tf+tt+tu)/3] endРезультат:
user system total real for: 0.950000 0.000000 0.950000 ( 0.952039) times: 0.980000 0.000000 0.980000 ( 0.984938) upto: 0.950000 0.000000 0.950000 ( 0.946787) >total: 2.880000 0.000000 2.880000 ( 2.883764) >avg: 0.960000 0.000000 0.960000 ( 0.961255)
Константы
- CAPTION
-
Строка заголовка по умолчанию (заголовок над выходными данными времени).
- FORMAT
-
Строка формата по умолчанию, используемая для отображения времени. См. также Benchmark::Tms#format.
Публичные методы класса
# File lib/benchmark.rb, line 164
def benchmark(caption = "", label_width = nil, format = nil, *labels) # :yield: report
sync = STDOUT.sync
STDOUT.sync = true
label_width ||= 0
label_width += 1
format ||= FORMAT
print ' '*label_width + caption unless caption.empty?
report = Report.new(label_width, format)
results = yield(report)
Array === results and results.grep(Tms).each {|t|
print((labels.shift || t.label || "").ljust(label_width), t.format(format))
}
report.list
ensure
STDOUT.sync = sync unless sync.nil?
end Вызывает блок с объектом Benchmark::Report, который может использоваться для сбора и отчёта по результатам отдельных бенчмарков. Зарезервировано label_width ведущих пробелов для меток в каждой строке. Выводит caption в верхней части отчёта и использует format для форматирования каждой строки. Возвращает массив объектов Benchmark::Tms.
Если блок возвращает массив объектов Benchmark::Tms, эти объекты будут использованы для форматирования дополнительных строк вывода. Если label параметров заданы, эти параметры используются для маркировки этих дополнительных строк.
Примечание: Другие методы предоставляют более простой интерфейс к этому методу и подходят для почти всех требований к бенчмаркам. См. примеры в Benchmark и методах bm и bmbm.
Пример:
require 'benchmark'
include Benchmark # we need the CAPTION and FORMAT constants
n = 5000000
Benchmark.benchmark(CAPTION, 7, FORMAT, ">total:", ">avg:") do |x|
tf = x.report("for:") { for i in 1..n; a = "1"; end }
tt = x.report("times:") { n.times do ; a = "1"; end }
tu = x.report("upto:") { 1.upto(n) do ; a = "1"; end }
[tf+tt+tu, (tf+tt+tu)/3]
end
Генерирует:
user system total real for: 0.970000 0.000000 0.970000 ( 0.970493) times: 0.990000 0.000000 0.990000 ( 0.989542) upto: 0.970000 0.000000 0.970000 ( 0.972854) >total: 2.930000 0.000000 2.930000 ( 2.932889) >avg: 0.976667 0.000000 0.976667 ( 0.977630)
# File lib/benchmark.rb, line 203 def bm(label_width = 0, *labels, &blk) # :yield: report benchmark(CAPTION, label_width, FORMAT, *labels, &blk) end
Простой интерфейс к методу benchmark, метод bm генерирует последовательные отчёты с метками. Параметры имеют то же значение, что и для benchmark.
require 'benchmark'
n = 5000000
Benchmark.bm(7) do |x|
x.report("for:") { for i in 1..n; a = "1"; end }
x.report("times:") { n.times do ; a = "1"; end }
x.report("upto:") { 1.upto(n) do ; a = "1"; end }
end
Генерирует:
user system total real for: 0.960000 0.000000 0.960000 ( 0.957966) times: 0.960000 0.000000 0.960000 ( 0.960423) upto: 0.950000 0.000000 0.950000 ( 0.954864)
# File lib/benchmark.rb, line 245
def bmbm(width = 0) # :yield: job
job = Job.new(width)
yield(job)
width = job.width + 1
sync = STDOUT.sync
STDOUT.sync = true
# rehearsal
puts 'Rehearsal '.ljust(width+CAPTION.length,'-')
ets = job.list.inject(Tms.new) { |sum,(label,item)|
print label.ljust(width)
res = Benchmark.measure(&item)
print res.format
sum + res
}.format("total: %tsec")
print " #{ets}\n\n".rjust(width+CAPTION.length+2,'-')
# take
print ' '*width + CAPTION
job.list.map { |label,item|
GC.start
print label.ljust(width)
Benchmark.measure(label, &item).tap { |res| print res }
}
ensure
STDOUT.sync = sync unless sync.nil?
end Иногда результаты бенчмарков искажаются, потому что код, выполненный ранее, сталкивается с другими накладными расходами на сбор мусора, чем код, выполненный позже. bmbm пытается свести эти эффекты к минимуму, выполняя тесты дважды: первый раз как репетицию, чтобы стабилизировать среду выполнения, второй раз — для реального измерения. GC.start выполняется перед началом каждого реального измерения; затраты на это не включаются в измерения. Однако на практике bmbm может сделать только ограниченное количество, и результаты не гарантируют изоляции от сбора мусора и других эффектов.
Поскольку bmbm выполняет два прохода по тестам, он может рассчитать необходимую ширину метки.
require 'benchmark'
array = (1..1000000).map { rand }
Benchmark.bmbm do |x|
x.report("sort!") { array.dup.sort! }
x.report("sort") { array.dup.sort }
end
Генерирует:
Rehearsal -----------------------------------------
sort! 1.440000 0.010000 1.450000 ( 1.446833)
sort 1.440000 0.000000 1.440000 ( 1.448257)
-------------------------------- total: 2.890000sec
user system total real
sort! 1.460000 0.000000 1.460000 ( 1.458065)
sort 1.450000 0.000000 1.450000 ( 1.455963) bmbm возвращает объект Benchmark::Job и возвращает массив объектов Benchmark::Tms.
# File lib/benchmark.rb, line 286
def measure(label = "") # :yield:
t0, r0 = Process.times, Process.clock_gettime(BENCHMARK_CLOCK)
yield
t1, r1 = Process.times, Process.clock_gettime(BENCHMARK_CLOCK)
Benchmark::Tms.new(t1.utime - t0.utime,
t1.stime - t0.stime,
t1.cutime - t0.cutime,
t1.cstime - t0.cstime,
r1 - r0,
label)
end Возвращает время выполнения данного блока в виде объекта Benchmark::Tms.
# File lib/benchmark.rb, line 301 def realtime # :yield: r0 = Process.clock_gettime(BENCHMARK_CLOCK) yield Process.clock_gettime(BENCHMARK_CLOCK) - r0 end
Возвращает реальное затраченное время выполнения данного блока.
Приватные методы экземпляра
# File lib/benchmark.rb, line 164
def benchmark(caption = "", label_width = nil, format = nil, *labels) # :yield: report
sync = STDOUT.sync
STDOUT.sync = true
label_width ||= 0
label_width += 1
format ||= FORMAT
print ' '*label_width + caption unless caption.empty?
report = Report.new(label_width, format)
results = yield(report)
Array === results and results.grep(Tms).each {|t|
print((labels.shift || t.label || "").ljust(label_width), t.format(format))
}
report.list
ensure
STDOUT.sync = sync unless sync.nil?
end Вызывает блок с объектом Benchmark::Report, который может использоваться для сбора и отчёта по результатам отдельных бенчмарков. Зарезервировано label_width ведущих пробелов для меток в каждой строке. Выводит caption в верхней части отчёта и использует format для форматирования каждой строки. Возвращает массив объектов Benchmark::Tms.
Если блок возвращает массив объектов Benchmark::Tms, эти объекты будут использованы для форматирования дополнительных строк вывода. Если label параметров заданы, эти параметры используются для маркировки этих дополнительных строк.
Примечание: Другие методы предоставляют более простой интерфейс к этому методу и подходят для почти всех требований к бенчмаркам. См. примеры в Benchmark и методах bm и bmbm.
Пример:
require 'benchmark'
include Benchmark # we need the CAPTION and FORMAT constants
n = 5000000
Benchmark.benchmark(CAPTION, 7, FORMAT, ">total:", ">avg:") do |x|
tf = x.report("for:") { for i in 1..n; a = "1"; end }
tt = x.report("times:") { n.times do ; a = "1"; end }
tu = x.report("upto:") { 1.upto(n) do ; a = "1"; end }
[tf+tt+tu, (tf+tt+tu)/3]
end
Генерирует:
user system total real for: 0.970000 0.000000 0.970000 ( 0.970493) times: 0.990000 0.000000 0.990000 ( 0.989542) upto: 0.970000 0.000000 0.970000 ( 0.972854) >total: 2.930000 0.000000 2.930000 ( 2.932889) >avg: 0.976667 0.000000 0.976667 ( 0.977630)
# File lib/benchmark.rb, line 203 def bm(label_width = 0, *labels, &blk) # :yield: report benchmark(CAPTION, label_width, FORMAT, *labels, &blk) end
Простой интерфейс к методу benchmark, метод bm генерирует последовательные отчёты с метками. Параметры имеют то же значение, что и для benchmark.
require 'benchmark'
n = 5000000
Benchmark.bm(7) do |x|
x.report("for:") { for i in 1..n; a = "1"; end }
x.report("times:") { n.times do ; a = "1"; end }
x.report("upto:") { 1.upto(n) do ; a = "1"; end }
end
Генерирует:
user system total real for: 0.960000 0.000000 0.960000 ( 0.957966) times: 0.960000 0.000000 0.960000 ( 0.960423) upto: 0.950000 0.000000 0.950000 ( 0.954864)
# File lib/benchmark.rb, line 245
def bmbm(width = 0) # :yield: job
job = Job.new(width)
yield(job)
width = job.width + 1
sync = STDOUT.sync
STDOUT.sync = true
# rehearsal
puts 'Rehearsal '.ljust(width+CAPTION.length,'-')
ets = job.list.inject(Tms.new) { |sum,(label,item)|
print label.ljust(width)
res = Benchmark.measure(&item)
print res.format
sum + res
}.format("total: %tsec")
print " #{ets}\n\n".rjust(width+CAPTION.length+2,'-')
# take
print ' '*width + CAPTION
job.list.map { |label,item|
GC.start
print label.ljust(width)
Benchmark.measure(label, &item).tap { |res| print res }
}
ensure
STDOUT.sync = sync unless sync.nil?
end Иногда результаты бенчмарков искажаются, потому что код, выполненный ранее, сталкивается с другими накладными расходами на сбор мусора, чем код, выполненный позже. bmbm пытается свести эти эффекты к минимуму, выполняя тесты дважды: первый раз как репетицию, чтобы стабилизировать среду выполнения, второй раз — для реального измерения. GC.start выполняется перед началом каждого реального измерения; затраты на это не включаются в измерения. Однако на практике bmbm может сделать только ограниченное количество, и результаты не гарантируют изоляции от сбора мусора и других эффектов.
Поскольку bmbm выполняет два прохода по тестам, он может рассчитать необходимую ширину метки.
require 'benchmark'
array = (1..1000000).map { rand }
Benchmark.bmbm do |x|
x.report("sort!") { array.dup.sort! }
x.report("sort") { array.dup.sort }
end
Генерирует:
Rehearsal -----------------------------------------
sort! 1.440000 0.010000 1.450000 ( 1.446833)
sort 1.440000 0.000000 1.440000 ( 1.448257)
-------------------------------- total: 2.890000sec
user system total real
sort! 1.460000 0.000000 1.460000 ( 1.458065)
sort 1.450000 0.000000 1.450000 ( 1.455963) bmbm возвращает объект Benchmark::Job и возвращает массив объектов Benchmark::Tms.
# File lib/benchmark.rb, line 286
def measure(label = "") # :yield:
t0, r0 = Process.times, Process.clock_gettime(BENCHMARK_CLOCK)
yield
t1, r1 = Process.times, Process.clock_gettime(BENCHMARK_CLOCK)
Benchmark::Tms.new(t1.utime - t0.utime,
t1.stime - t0.stime,
t1.cutime - t0.cutime,
t1.cstime - t0.cstime,
r1 - r0,
label)
end Возвращает время выполнения данного блока в виде объекта Benchmark::Tms.
# File lib/benchmark.rb, line 301 def realtime # :yield: r0 = Process.clock_gettime(BENCHMARK_CLOCK) yield Process.clock_gettime(BENCHMARK_CLOCK) - r0 end
Возвращает реальное затраченное время выполнения данного блока.
Ruby Core © 1993–2017 Yukihiro Matsumoto
Licensed under the Ruby License.
Ruby Standard Library © contributors
Licensed under their own licenses.
