cargo-bench(1)

名称

cargo-bench — 执行包的基准测试

概要

cargo bench [选项] [基准名称] [-- 基准选项]

描述

编译并执行基准测试。

基准测试过滤参数 benchname 和两个破折号（--）后面的所有参数都会传递给基准测试二进制文件，进而传递给 libtest（rustc 内置的单元测试和微基准测试框架）。如果要将参数传递给 Cargo 和二进制文件，则 -- 后的参数传递给二进制文件，之前的参数传递给 Cargo。有关 libtest 参数的详细信息，请参阅 cargo bench -- --help 的输出，并查看 rustc 手册中关于测试工作原理的章节：https://doc.rust-lang.net.cn/rustc/tests/index.html。

例如，这将只运行名为 foo 的基准测试（并跳过其他类似名称的基准测试，如 foobar）

cargo bench -- foo --exact

基准测试使用 rustc 的 --test 选项构建，该选项通过将您的代码与 libtest 链接来创建一个特殊的执行文件。该可执行文件会自动运行所有用 #[bench] 属性注释的函数。Cargo 将 --bench 标志传递给测试工具，以告知它只运行基准测试，而不管该工具是 libtest 还是自定义工具。

可以通过在目标清单设置中设置 harness = false 来禁用 libtest 工具，在这种情况下，您的代码需要提供自己的 main 函数来处理运行基准测试。

注意：#[bench] 属性目前不稳定，仅在 nightly 通道上可用。在 crates.io 上有一些包可以帮助在 stable 通道上运行基准测试，例如 Criterion。

默认情况下，cargo bench 使用 bench profile，它启用优化并禁用调试信息。如果您需要调试基准测试，可以使用 --profile=dev 命令行选项切换到 dev profile。然后，您可以在调试器中运行启用调试的基准测试。

基准测试的工作目录

每个基准测试的工作目录都设置为该基准测试所属包的根目录。将基准测试的工作目录设置为包的根目录，使得基准测试可以可靠地使用相对路径访问包的文件，而不管 cargo bench 从何处执行。

选项

基准测试选项

--no-run
编译，但不运行基准测试。
--no-fail-fast
运行所有基准测试，而不管是否失败。如果没有此标志，Cargo 将在第一个可执行文件失败后退出。Rust 测试工具将运行可执行文件中的所有基准测试直至完成，此标志仅适用于整个可执行文件。

包选择

默认情况下，在没有给出包选择选项时，所选的包取决于所选的清单文件（如果未给出 --manifest-path，则基于当前工作目录）。如果清单是工作区的根，则选择工作区的默认成员，否则只选择清单定义的包。

可以使用根清单中的 workspace.default-members 键显式设置工作区的默认成员。如果未设置此项，则虚拟工作区将包括所有工作区成员（等效于传递 --workspace），而非虚拟工作区将仅包括根 crate 本身。

-p spec…
--package spec…
仅对指定的包进行基准测试。有关 SPEC 格式，请参阅 cargo-pkgid(1)。此标志可以指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。但是，为了避免 shell 在 Cargo 处理之前意外地扩展 glob 模式，您必须在每个模式周围使用单引号或双引号。
--workspace
对工作区中的所有成员进行基准测试。
--all
已弃用的 --workspace 别名。
--exclude SPEC…
排除指定的包。必须与 --workspace 标志一起使用。此标志可以指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。但是，为了避免 shell 在 Cargo 处理之前意外地扩展 glob 模式，您必须在每个模式周围使用单引号或双引号。

目标选择

在没有给出目标选择选项时，cargo bench 将构建所选包的以下目标

  • lib — 用于与二进制文件和基准测试链接
  • bins（仅当构建了基准测试目标并且所需的特性可用时）
  • lib 作为基准测试
  • bins 作为基准测试
  • 基准测试目标

可以通过在清单设置中为目标设置 bench 标志来更改默认行为。将示例设置为 bench = true 将构建并运行该示例作为基准测试，并将示例的 main 函数替换为 libtest 工具。

将目标设置为 bench = false 将阻止默认情况下对其进行基准测试。按名称获取目标的目标选择选项（例如 --example foo）会忽略 bench 标志，并且始终会对给定的目标进行基准测试。

有关每个目标的设置的详细信息，请参阅 配置目标。

如果选择了集成测试或基准测试进行基准测试，则会自动构建二进制目标。这允许集成测试执行二进制文件以练习和测试其行为。当构建集成测试时，将设置 CARGO_BIN_EXE_<name> 环境变量，以便它可以 env macro 定位可执行文件。

传递目标选择标志将仅对指定的目标进行基准测试。

请注意，--bin、--example、--test 和 --bench 标志也支持常见的 Unix glob 模式，如 *、? 和 []。但是，为了避免 shell 在 Cargo 处理之前意外地扩展 glob 模式，您必须在每个 glob 模式周围使用单引号或双引号。

--lib
对包的库进行基准测试。
--bin name…
对指定的二进制文件进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--bins
对所有二进制目标进行基准测试。
--example name…
对指定的示例进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--examples
对所有示例目标进行基准测试。
--test name…
对指定的集成测试进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--tests
对所有设置了 test = true 清单标志的目标进行基准测试。默认情况下，这包括作为单元测试构建的库和二进制文件，以及集成测试。请注意，这还将构建任何所需的依赖项，因此 lib 目标可能会被构建两次（一次作为单元测试，一次作为二进制文件、集成测试等的依赖项）。可以通过在目标清单设置中设置 test 标志来启用或禁用目标。
--bench name…
对指定的基准测试进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--benches
对所有设置了 bench = true 清单标志的目标进行基准测试。默认情况下，这包括作为基准测试构建的库和二进制文件，以及基准测试目标。请注意，这还将构建任何所需的依赖项，因此 lib 目标可能会被构建两次（一次作为基准测试，一次作为二进制文件、基准测试等的依赖项）。可以通过在目标清单设置中设置 bench 标志来启用或禁用目标。
--all-targets
对所有目标进行基准测试。这等效于指定 --lib --bins --tests --benches --examples。

特性选择

特性标志允许您控制启用哪些特性。在没有给出特性选项时，将为每个选定的包激活 default 特性。

有关详细信息，请参阅 特性文档。

-F features
--features features
要激活的特性列表，以空格或逗号分隔。可以使用 package-name/feature-name 语法启用工作区成员的特性。此标志可以指定多次，这将启用所有指定的特性。
--all-features
激活所有选定包的所有可用特性。
--no-default-features
不激活所选包的 default 特性。

编译选项

--target triple
为给定的架构进行基准测试。默认值为宿主架构。triple 的通用格式为 <arch><sub>-<vendor>-<sys>-<abi>。运行 rustc --print target-list 获取支持的目标列表。此标志可以指定多次。

也可以使用 build.target 配置值 指定此选项。

请注意，指定此标志会使 Cargo 以不同的模式运行，其中目标工件放置在单独的目录中。有关详细信息，请参阅 构建缓存 文档。

--profile name
使用给定的 profile 进行基准测试。有关 profile 的详细信息，请参阅 参考。
--timings=fmts
输出每个编译花费的时间的信息，并跟踪随时间的并发信息。接受可选的逗号分隔的输出格式列表；没有参数的 --timings 将默认为 --timings=html。指定输出格式（而不是默认格式）是不稳定的，需要 -Zunstable-options。有效的输出格式

  • html（不稳定，需要 -Zunstable-options）：将人类可读的文件 cargo-timing.html 写入 target/cargo-timings 目录，其中包含编译报告。如果您想查看较旧的运行，还可以将报告写入同一目录，并在文件名中添加时间戳。HTML 输出仅适用于人类使用，不提供机器可读的计时数据。
  • json（不稳定，需要 -Zunstable-options）：发出有关计时信息的机器可读 JSON 信息。

输出选项

--target-dir directory
所有生成的工件和中间文件的目录。也可以使用 CARGO_TARGET_DIR 环境变量或 build.target-dir 配置值 指定。默认为工作区根目录中的 target。

显示选项

默认情况下，Rust 测试工具会隐藏基准测试执行的输出，以保持结果的可读性。可以通过将 --nocapture 传递给基准测试二进制文件来恢复基准测试输出（例如，用于调试）

cargo bench -- --nocapture
-v
--verbose
使用详细输出。可以指定两次以获得“非常详细”的输出，其中包含额外的输出，例如依赖项警告和构建脚本输出。也可以使用 term.verbose 配置值 来指定。
-q
--quiet
不打印 cargo 日志消息。也可以使用 term.quiet 配置值 来指定。
--color when
控制何时使用彩色输出。有效值

  • auto (默认值): 自动检测终端是否支持颜色。
  • always: 始终显示颜色。
  • never: 从不显示颜色。

也可以使用 term.color 配置值 来指定。

--message-format fmt
诊断消息的输出格式。可以多次指定，并且包含逗号分隔的值。有效值

  • human (默认值): 以人类可读的文本格式显示。与 short 和 json 冲突。
  • short: 发出更短的、人类可读的文本消息。与 human 和 json 冲突。
  • json: 将 JSON 消息输出到 stdout。有关更多详细信息，请参阅 参考文档。与 human 和 short 冲突。
  • json-diagnostic-short: 确保 JSON 消息的 rendered 字段包含 rustc 的“short”渲染。不能与 human 或 short 一起使用。
  • json-diagnostic-rendered-ansi: 确保 JSON 消息的 rendered 字段包含嵌入的 ANSI 颜色代码，以遵守 rustc 的默认配色方案。不能与 human 或 short 一起使用。
  • json-render-diagnostics: 指示 Cargo 不要在打印的 JSON 消息中包含 rustc 诊断信息，而是让 Cargo 本身渲染来自 rustc 的 JSON 诊断信息。 Cargo 自己的 JSON 诊断信息和来自 rustc 的其他诊断信息仍然会发出。不能与 human 或 short 一起使用。

清单选项

--manifest-path path
Cargo.toml 文件的路径。默认情况下，Cargo 在当前目录或任何父目录中搜索 Cargo.toml 文件。
--ignore-rust-version
忽略包中的 rust-version 规范。
--locked
断言所使用的确切依赖项和版本与最初生成现有 Cargo.lock 文件时所使用的相同。当出现以下任何一种情况时，Cargo 将退出并显示错误

  • 缺少锁定文件。
  • 由于不同的依赖项解析，Cargo 尝试更改锁定文件。

它可用于需要确定性构建的环境中，例如在 CI 管道中。

--offline
阻止 Cargo 出于任何原因访问网络。如果没有此标志，如果 Cargo 需要访问网络且网络不可用，则 Cargo 将停止并出现错误。使用此标志，如果可能，Cargo 将尝试在没有网络的情况下继续。

请注意，这可能会导致与在线模式不同的依赖项解析。 Cargo 将仅限于本地下载的 crate，即使本地索引副本中指示可能有更新的版本。 请参阅 cargo-fetch(1) 命令，以便在离线之前下载依赖项。

也可以使用 net.offline 配置值 来指定。

--frozen
等效于同时指定 --locked 和 --offline。
--lockfile-path PATH
将锁定文件的路径从默认路径 (<workspace_root>/Cargo.lock) 更改为 PATH。PATH 必须以 Cargo.lock 结尾（例如，--lockfile-path /tmp/temporary-lockfile/Cargo.lock）。请注意，提供 --lockfile-path 将忽略默认路径处的现有锁定文件，而是将使用 PATH 中的锁定文件，或者如果 PATH 不存在，则将新的锁定文件写入提供的 PATH 中。此标志可用于在只读目录中运行大多数命令，并将锁定文件写入提供的 PATH 中。

此选项仅在 nightly channel 上可用，并且需要 -Z unstable-options 标志才能启用（请参阅 #14421）。

常用选项

+toolchain
如果 Cargo 已通过 rustup 安装，并且 cargo 的第一个参数以 + 开头，则它将被解释为 rustup 工具链名称（例如 +stable 或 +nightly）。有关工具链覆盖如何工作的更多信息，请参阅 rustup 文档。
--config KEY=VALUE 或 PATH
覆盖 Cargo 配置值。该参数应采用 KEY=VALUE 的 TOML 语法，或作为额外配置文件的路径提供。可以多次指定此标志。有关更多信息，请参阅命令行覆盖部分。
-C PATH
在执行任何指定操作之前更改当前工作目录。这会影响诸如 cargo 默认查找项目清单 (Cargo.toml) 的位置，以及搜索以发现 .cargo/config.toml 的目录之类的事情。此选项必须出现在命令名称之前，例如 cargo -C path/to/my-project build。

此选项仅在 nightly channel 上可用，并且需要 -Z unstable-options 标志才能启用（请参阅 #10098）。

-h
--help
打印帮助信息。
-Z flag
Cargo 的不稳定（仅限 nightly）标志。 运行 cargo -Z help 获取详细信息。

杂项选项

--jobs 参数会影响基准可执行文件的构建，但不会影响运行基准时使用的线程数。 Rust 测试工具会在单个线程中按顺序运行基准测试。

-j N
--jobs N
要运行的并行作业数。 也可以使用 build.jobs 配置值 来指定。 默认为逻辑 CPU 的数量。 如果为负数，则将最大并行作业数设置为逻辑 CPU 的数量加上提供的值。 如果提供字符串 default，则将该值设置回默认值。 不应为 0。

虽然 cargo bench 涉及编译，但它不提供 --keep-going 标志。 使用 --no-fail-fast 尽可能多地运行基准测试，而不在第一次失败时停止。 要尽可能多地“编译”基准测试，请使用 --benches 单独构建基准测试二进制文件。 例如

cargo build --benches --release --keep-going
cargo bench --no-fail-fast

环境

有关 Cargo 读取的环境变量的详细信息，请参阅参考文档。

退出状态

  • 0: Cargo 成功。
  • 101: Cargo 未能完成。

示例

  1. 构建并执行当前包的所有基准测试

    cargo bench

  2. 仅在特定基准测试目标中运行特定的基准测试

    cargo bench --bench bench_name -- modname::some_benchmark

另请参阅

cargo(1), cargo-test(1)