Модуль Benchmark

# File lib/benchmark.rb, line 165
def benchmark(caption = "", label_width = nil, format = nil, *labels) # :yield: report
  sync = STDOUT.sync
  STDOUT.sync = true
  label_width ||= 0
  label_width += 1
  format ||= FORMAT
  print ' '*label_width + caption unless caption.empty?
  report = Report.new(label_width, format)
  results = yield(report)
  Array === results and results.grep(Tms).each {|t|
    print((labels.shift || t.label || "").ljust(label_width), t.format(format))
  }
  report.list
ensure
  STDOUT.sync = sync unless sync.nil?
end

Вызывает блок с объектом Benchmark::Report, который можно использовать для сбора и отчета о результатах отдельных тестов производительности. Зарезервировано label_width начальных пробелов для меток в каждой строке. Выводит caption в верхней части отчета и использует format для форматирования каждой строки. Возвращает массив объектов Benchmark::Tms.

Если блок возвращает массив объектов Benchmark::Tms, эти объекты будут использоваться для форматирования дополнительных строк вывода. Если labels параметра заданы, они используются для маркировки этих дополнительных строк.

Примечание: Другие методы предоставляют более простой интерфейс к этому методу и подходят для почти всех требований к тестированию производительности. См. примеры в Benchmark, а также методы bm и bmbm.

Пример:

require 'benchmark'
include Benchmark          # we need the CAPTION and FORMAT constants

n = 5000000
Benchmark.benchmark(CAPTION, 7, FORMAT, ">total:", ">avg:") do |x|
  tf = x.report("for:")   { for i in 1..n; a = "1"; end }
  tt = x.report("times:") { n.times do   ; a = "1"; end }
  tu = x.report("upto:")  { 1.upto(n) do ; a = "1"; end }
  [tf+tt+tu, (tf+tt+tu)/3]
end

Создает:

              user     system      total        real
for:      0.970000   0.000000   0.970000 (  0.970493)
times:    0.990000   0.000000   0.990000 (  0.989542)
upto:     0.970000   0.000000   0.970000 (  0.972854)
>total:   2.930000   0.000000   2.930000 (  2.932889)
>avg:     0.976667   0.000000   0.976667 (  0.977630)

# File lib/benchmark.rb, line 204
def bm(label_width = 0, *labels, &blk) # :yield: report
  benchmark(CAPTION, label_width, FORMAT, *labels, &blk)
end

Простой интерфейс к методу benchmark, bm генерирует последовательные отчеты с метками. label_width и labels параметры имеют то же значение, что и для benchmark.

require 'benchmark'

n = 5000000
Benchmark.bm(7) do |x|
  x.report("for:")   { for i in 1..n; a = "1"; end }
  x.report("times:") { n.times do   ; a = "1"; end }
  x.report("upto:")  { 1.upto(n) do ; a = "1"; end }
end

Создает:

              user     system      total        real
for:      0.960000   0.000000   0.960000 (  0.957966)
times:    0.960000   0.000000   0.960000 (  0.960423)
upto:     0.950000   0.000000   0.950000 (  0.954864)

# File lib/benchmark.rb, line 246
def bmbm(width = 0) # :yield: job
  job = Job.new(width)
  yield(job)
  width = job.width + 1
  sync = STDOUT.sync
  STDOUT.sync = true

  # rehearsal
  puts 'Rehearsal '.ljust(width+CAPTION.length,'-')
  ets = job.list.inject(Tms.new) { |sum,(label,item)|
    print label.ljust(width)
    res = Benchmark.measure(&item)
    print res.format
    sum + res
  }.format("total: %tsec")
  print " #{ets}\n\n".rjust(width+CAPTION.length+2,'-')

  # take
  print ' '*width + CAPTION
  job.list.map { |label,item|
    GC.start
    print label.ljust(width)
    Benchmark.measure(label, &item).tap { |res| print res }
  }
ensure
  STDOUT.sync = sync unless sync.nil?
end

Иногда результаты тестирования производительности искажаются, потому что код, выполнявшийся ранее, сталкивается с разными накладными расходами сборки мусора, чем код, выполняющийся позже. bmbm пытается минимизировать это влияние, выполняя тесты дважды: сначала как репетицию, чтобы стабилизировать среду выполнения, а затем – для реальных измерений. GC.start выполняется перед началом каждого реального измерения; затраты на это не включаются в измерения. Однако на практике bmbm может сделать только так много, и результаты не гарантируются от изоляции от сборки мусора и других эффектов.

Поскольку bmbm выполняет два прохода по тестам, он может рассчитать требуемую ширину метки.

require 'benchmark'

array = (1..1000000).map { rand }

Benchmark.bmbm do |x|
  x.report("sort!") { array.dup.sort! }
  x.report("sort")  { array.dup.sort  }
end

Создает:

Rehearsal -----------------------------------------
sort!   1.440000   0.010000   1.450000 (  1.446833)
sort    1.440000   0.000000   1.440000 (  1.448257)
-------------------------------- total: 2.890000sec

            user     system      total        real
sort!   1.460000   0.000000   1.460000 (  1.458065)
sort    1.450000   0.000000   1.450000 (  1.455963)

bmbm возвращает объект Benchmark::Job и массив объектов Benchmark::Tms.

# File lib/benchmark.rb, line 291
def measure(label = "") # :yield:
  t0, r0 = Process.times, Process.clock_gettime(Process::CLOCK_MONOTONIC)
  yield
  t1, r1 = Process.times, Process.clock_gettime(Process::CLOCK_MONOTONIC)
  Benchmark::Tms.new(t1.utime  - t0.utime,
                     t1.stime  - t0.stime,
                     t1.cutime - t0.cutime,
                     t1.cstime - t0.cstime,
                     r1 - r0,
                     label)
end

Возвращает время, затраченное на выполнение данного блока, как объект Benchmark::Tms. Принимает label опцию.

require 'benchmark'

n = 1000000

time = Benchmark.measure do
  n.times { a = "1" }
end
puts time

Создает:

0.220000   0.000000   0.220000 (  0.227313)

# File lib/benchmark.rb, line 306
def realtime # :yield:
  r0 = Process.clock_gettime(Process::CLOCK_MONOTONIC)
  yield
  Process.clock_gettime(Process::CLOCK_MONOTONIC) - r0
end

Возвращает фактическое время, затраченное на выполнение данного блока.

# File lib/benchmark.rb, line 165
def benchmark(caption = "", label_width = nil, format = nil, *labels) # :yield: report
  sync = STDOUT.sync
  STDOUT.sync = true
  label_width ||= 0
  label_width += 1
  format ||= FORMAT
  print ' '*label_width + caption unless caption.empty?
  report = Report.new(label_width, format)
  results = yield(report)
  Array === results and results.grep(Tms).each {|t|
    print((labels.shift || t.label || "").ljust(label_width), t.format(format))
  }
  report.list
ensure
  STDOUT.sync = sync unless sync.nil?
end

Вызывает блок с объектом Benchmark::Report, который можно использовать для сбора и отчета о результатах отдельных тестов производительности. Зарезервировано label_width начальных пробелов для меток в каждой строке. Выводит caption в верхней части отчета и использует format для форматирования каждой строки. Возвращает массив объектов Benchmark::Tms.

Если блок возвращает массив объектов Benchmark::Tms, эти объекты будут использоваться для форматирования дополнительных строк вывода. Если labels параметры заданы, они используются для маркировки этих дополнительных строк.

Примечание: Другие методы предоставляют более простой интерфейс к этому методу и подходят для почти всех требований к тестированию производительности. См. примеры в Benchmark, а также методы bm и bmbm.

Пример:

require 'benchmark'
include Benchmark          # we need the CAPTION and FORMAT constants

n = 5000000
Benchmark.benchmark(CAPTION, 7, FORMAT, ">total:", ">avg:") do |x|
  tf = x.report("for:")   { for i in 1..n; a = "1"; end }
  tt = x.report("times:") { n.times do   ; a = "1"; end }
  tu = x.report("upto:")  { 1.upto(n) do ; a = "1"; end }
  [tf+tt+tu, (tf+tt+tu)/3]
end

Создает:

              user     system      total        real
for:      0.970000   0.000000   0.970000 (  0.970493)
times:    0.990000   0.000000   0.990000 (  0.989542)
upto:     0.970000   0.000000   0.970000 (  0.972854)
>total:   2.930000   0.000000   2.930000 (  2.932889)
>avg:     0.976667   0.000000   0.976667 (  0.977630)

# File lib/benchmark.rb, line 204
def bm(label_width = 0, *labels, &blk) # :yield: report
  benchmark(CAPTION, label_width, FORMAT, *labels, &blk)
end

Простой интерфейс к методу benchmark, bm генерирует последовательные отчеты с метками. label_width и labels параметры имеют то же значение, что и для benchmark.

require 'benchmark'

n = 5000000
Benchmark.bm(7) do |x|
  x.report("for:")   { for i in 1..n; a = "1"; end }
  x.report("times:") { n.times do   ; a = "1"; end }
  x.report("upto:")  { 1.upto(n) do ; a = "1"; end }
end

Создает:

              user     system      total        real
for:      0.960000   0.000000   0.960000 (  0.957966)
times:    0.960000   0.000000   0.960000 (  0.960423)
upto:     0.950000   0.000000   0.950000 (  0.954864)

# File lib/benchmark.rb, line 246
def bmbm(width = 0) # :yield: job
  job = Job.new(width)
  yield(job)
  width = job.width + 1
  sync = STDOUT.sync
  STDOUT.sync = true

  # rehearsal
  puts 'Rehearsal '.ljust(width+CAPTION.length,'-')
  ets = job.list.inject(Tms.new) { |sum,(label,item)|
    print label.ljust(width)
    res = Benchmark.measure(&item)
    print res.format
    sum + res
  }.format("total: %tsec")
  print " #{ets}\n\n".rjust(width+CAPTION.length+2,'-')

  # take
  print ' '*width + CAPTION
  job.list.map { |label,item|
    GC.start
    print label.ljust(width)
    Benchmark.measure(label, &item).tap { |res| print res }
  }
ensure
  STDOUT.sync = sync unless sync.nil?
end

Иногда результаты тестирования производительности искажаются, потому что код, выполнявшийся ранее, сталкивается с разными накладными расходами сборки мусора, чем код, выполняющийся позже. bmbm пытается минимизировать это влияние, выполняя тесты дважды: сначала как репетицию, чтобы стабилизировать среду выполнения, а затем – для реальных измерений. GC.start выполняется перед началом каждого реального измерения; затраты на это не включаются в измерения. Однако на практике bmbm может сделать только так много, и результаты не гарантируются от изоляции от сборки мусора и других эффектов.

Поскольку bmbm выполняет два прохода по тестам, он может рассчитать требуемую ширину метки.

require 'benchmark'

array = (1..1000000).map { rand }

Benchmark.bmbm do |x|
  x.report("sort!") { array.dup.sort! }
  x.report("sort")  { array.dup.sort  }
end

Создает:

Rehearsal -----------------------------------------
sort!   1.440000   0.010000   1.450000 (  1.446833)
sort    1.440000   0.000000   1.440000 (  1.448257)
-------------------------------- total: 2.890000sec

            user     system      total        real
sort!   1.460000   0.000000   1.460000 (  1.458065)
sort    1.450000   0.000000   1.450000 (  1.455963)

bmbm возвращает объект Benchmark::Job и массив объектов Benchmark::Tms.

# File lib/benchmark.rb, line 291
def measure(label = "") # :yield:
  t0, r0 = Process.times, Process.clock_gettime(Process::CLOCK_MONOTONIC)
  yield
  t1, r1 = Process.times, Process.clock_gettime(Process::CLOCK_MONOTONIC)
  Benchmark::Tms.new(t1.utime  - t0.utime,
                     t1.stime  - t0.stime,
                     t1.cutime - t0.cutime,
                     t1.cstime - t0.cstime,
                     r1 - r0,
                     label)
end

Возвращает время, затраченное на выполнение данного блока, как объект Benchmark::Tms. Принимает label опцию.

require 'benchmark'

n = 1000000

time = Benchmark.measure do
  n.times { a = "1" }
end
puts time

Создает:

0.220000   0.000000   0.220000 (  0.227313)

# File lib/benchmark.rb, line 306
def realtime # :yield:
  r0 = Process.clock_gettime(Process::CLOCK_MONOTONIC)
  yield
  Process.clock_gettime(Process::CLOCK_MONOTONIC) - r0
end

Возвращает фактическое время, затраченное на выполнение данного блока.