Thanks to the contribution of @CrownedPhoenix we now have support for tagging parametrised benchmarks which allows for nicer output without having to change the benchmark name based on the paramterization, e.g.:
[50, 100, 1000].forEach { parameter in
Benchmark("Parameterized",
configuration: .init(tags: ["myParameter" : parameter.description])) { benchmark in
for _ in benchmark.scaledIterations {
blackHole(Int.random(in: 1 ... parameter))
}
}
}
We can then run all the paramterized benchmarks with:
swift package benchmark --filter "Parameterized"
Gives output:
==================
Running Benchmarks
==================
100% [------------------------------------------------------------] ETA: 00:00:00 | Basic:Parameterized (myParameter: 100)
100% [------------------------------------------------------------] ETA: 00:00:00 | Basic:Parameterized (myParameter: 1000)
100% [------------------------------------------------------------] ETA: 00:00:00 | Basic:Parameterized (myParameter: 50)
=====================================================================================================
Baseline 'Current_run'
=====================================================================================================
Host 'ice.local' with 20 'arm64' processors with 128 GB memory, running:
Darwin Kernel Version 24.0.0: Mon Aug 12 20:51:54 PDT 2024; root:xnu-11215.1.10~2/RELEASE_ARM64_T6000
=====
Basic
=====
Parameterized (myParameter: 100)
╒═══════════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │
╞═══════════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Instructions * │ 1506 │ 1567 │ 1567 │ 1567 │ 1567 │ 4499 │ 9709 │ 31531 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Malloc (total) * │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 31531 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Memory (resident peak) (M) │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 31531 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K) │ 1848 │ 1601 │ 1601 │ 1601 │ 1502 │ 1144 │ 110 │ 31531 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) * │ 2374 │ 2459 │ 2501 │ 2541 │ 2667 │ 3625 │ 62708 │ 31531 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (wall clock) (ns) * │ 541 │ 625 │ 625 │ 625 │ 666 │ 875 │ 9125 │ 31531 │
╘═══════════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛
Parameterized (myParameter: 1000)
╒═══════════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │
╞═══════════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Instructions * │ 1558 │ 1567 │ 1567 │ 1567 │ 1567 │ 4499 │ 7851 │ 31118 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Malloc (total) * │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 31118 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Memory (resident peak) (M) │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 31118 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K) │ 1848 │ 1601 │ 1601 │ 1601 │ 1500 │ 1043 │ 86 │ 31118 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) * │ 2374 │ 2459 │ 2501 │ 2585 │ 2751 │ 4291 │ 26667 │ 31118 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (wall clock) (ns) * │ 541 │ 625 │ 625 │ 625 │ 667 │ 959 │ 11625 │ 31118 │
╘═══════════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛
Parameterized (myParameter: 50)
╒═══════════════════════════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╤═════════╕
│ Metric │ p0 │ p25 │ p50 │ p75 │ p90 │ p99 │ p100 │ Samples │
╞═══════════════════════════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╪═════════╡
│ Instructions * │ 1558 │ 1567 │ 1567 │ 1567 │ 1567 │ 4499 │ 11015 │ 31370 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Malloc (total) * │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 31370 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Memory (resident peak) (M) │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 12 │ 31370 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Throughput (# / s) (K) │ 2000 │ 1601 │ 1601 │ 1601 │ 1500 │ 1093 │ 94 │ 31370 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (total CPU) (ns) * │ 2458 │ 2543 │ 2583 │ 2625 │ 2751 │ 3625 │ 12541 │ 31370 │
├───────────────────────────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ Time (wall clock) (ns) * │ 500 │ 625 │ 625 │ 625 │ 667 │ 916 │ 10625 │ 31370 │
╘═══════════════════════════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╧═════════╛