cargo-bench(1)

名称

cargo-bench - 执行包的基准测试

概要

cargo bench [选项] [基准测试名称] [-- 基准测试选项]

描述

编译并执行基准测试。

基准测试过滤参数 benchname 和两个破折号 (--) 之后的所有参数都传递给基准测试二进制文件，从而传递给 libtest（rustc 内置的单元测试和微基准测试框架）。如果您同时向 Cargo 和二进制文件传递参数，则 -- 之后的参数将传递给二进制文件，之前的参数将传递给 Cargo。有关 libtest 参数的详细信息，请参阅 cargo bench -- --help 的输出，并查看 rustc 书籍中有关测试工作原理的章节，网址为 https://doc.rust-lang.net.cn/rustc/tests/index.html。

例如，这将仅运行名为 foo 的基准测试（并跳过其他类似命名的基准测试，如 foobar）

cargo bench -- foo --exact

基准测试使用 rustc 的 --test 选项构建，该选项通过将代码与 libtest 链接来创建特殊的可执行文件。可执行文件会自动运行标有 #[bench] 属性的所有函数。Cargo 将 --bench 标志传递给测试工具，以指示其仅运行基准测试，而不管测试工具是 libtest 还是自定义测试工具。

可以通过在目标清单设置中设置 harness = false 来禁用 libtest 测试工具，在这种情况下，您的代码将需要提供自己的 main 函数来处理运行基准测试。

注意：#[bench] 属性 当前不稳定，仅在 nightly 频道 上可用。在 crates.io 上有一些包可以帮助在稳定频道上运行基准测试，例如 Criterion。

默认情况下，cargo bench 使用 bench 配置文件，该配置文件启用优化并禁用调试信息。如果您需要调试基准测试，可以使用 --profile=dev 命令行选项切换到开发配置文件。然后，您可以在调试器中运行启用调试的基准测试。

基准测试的工作目录

每个基准测试的工作目录都设置为基准测试所属包的根目录。将基准测试的工作目录设置为包的根目录，可以使基准测试使用相对路径可靠地访问包的文件，而不管 cargo bench 是从哪里执行的。

选项

基准测试选项

--no-run
编译但不运行基准测试。
--no-fail-fast
运行所有基准测试，无论是否失败。如果没有此标志，Cargo 将在第一个可执行文件失败后退出。Rust 测试工具将运行可执行文件中的所有基准测试直至完成，此标志仅适用于整个可执行文件。

包选择

默认情况下，当未给出包选择选项时，选择的包取决于所选的清单文件（如果未给出 --manifest-path，则基于当前工作目录）。如果清单是工作区的根目录，则选择工作区的默认成员，否则仅选择清单定义的包。

可以使用根清单中的 workspace.default-members 键显式设置工作区的默认成员。如果未设置，则虚拟工作区将包含所有工作区成员（相当于传递 --workspace），而非虚拟工作区将仅包含根 crate 本身。

-p 规范…
--package 规范…
仅对指定的包进行基准测试。有关规范格式，请参阅 cargo-pkgid(1)。此标志可以指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。但是，为了避免您的 shell 在 Cargo 处理 glob 模式之前意外地扩展它们，您必须在每个模式周围使用单引号或双引号。
--workspace
对工作区中的所有成员进行基准测试。
--all
--workspace 的已弃用别名。
--exclude 规范…
排除指定的包。必须与 --workspace 标志一起使用。此标志可以指定多次，并支持常见的 Unix glob 模式，如 *、? 和 []。但是，为了避免您的 shell 在 Cargo 处理 glob 模式之前意外地扩展它们，您必须在每个模式周围使用单引号或双引号。

目标选择

当未给出目标选择选项时，cargo bench 将构建所选包的以下目标

  • lib - 用于与二进制文件和基准测试链接
  • bins（仅当构建了基准测试目标并且所需功能可用时）
  • lib 作为基准测试
  • bins 作为基准测试
  • 基准测试目标

默认行为可以通过在清单设置中设置目标的 bench 标志来更改。将示例设置为 bench = true 将构建并运行该示例作为基准测试，并将示例的 main 函数替换为 libtest 工具。

将目标设置为 bench = false 将阻止它们默认被基准测试。按名称获取目标的目标选择选项（例如 --example foo）会忽略 bench 标志，并始终对给定目标进行基准测试。

有关每个目标设置的更多信息，请参阅配置目标。

如果选择了要进行基准测试的集成测试或基准测试，则会自动构建二进制目标。这允许集成测试执行二进制文件以执行和测试其行为。在构建集成测试时会设置 CARGO_BIN_EXE_<name> 环境变量，以便它可以使用 env 宏 来定位可执行文件。

传递目标选择标志将仅对指定的目标进行基准测试。

请注意，--bin、--example、--test 和 --bench 标志也支持常见的 Unix glob 模式，例如 *、? 和 []。但是，为了避免您的 shell 在 Cargo 处理 glob 模式之前意外地扩展它们，您必须在每个 glob 模式周围使用单引号或双引号。

--lib
对包的库进行基准测试。
--bin 名称…
对指定的二进制文件进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--bins
对所有二进制目标进行基准测试。
--example 名称…
对指定的示例进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--examples
对所有示例目标进行基准测试。
--test 名称…
对指定的集成测试进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--tests
对测试模式下所有设置了 test = true 清单标志的目标进行基准测试。默认情况下，这包括作为单元测试构建的库和二进制文件，以及集成测试。请注意，这也会构建任何所需的依赖项，因此 lib 目标可能会构建两次（一次作为单元测试，一次作为二进制文件、集成测试等的依赖项）。可以通过在目标的清单设置中设置 test 标志来启用或禁用目标。
--bench 名称…
对指定的基准测试进行基准测试。此标志可以指定多次，并支持常见的 Unix glob 模式。
--benches
对基准测试模式下所有设置了 bench = true 清单标志的目标进行基准测试。默认情况下，这包括作为基准测试构建的库和二进制文件，以及 bench 目标。请注意，这也会构建任何所需的依赖项，因此 lib 目标可能会构建两次（一次作为基准测试，一次作为二进制文件、基准测试等的依赖项）。可以通过在目标的清单设置中设置 bench 标志来启用或禁用目标。
--all-targets
对所有目标进行基准测试。这等效于指定 --lib --bins --tests --benches --examples。

功能选择

功能标志允许您控制启用哪些功能。当未给出功能选项时，将为每个选定的包激活 default 功能。

有关更多详细信息，请参阅功能文档。

-F 功能
--features 功能
要激活的功能的空格或逗号分隔列表。可以使用 package-name/feature-name 语法启用工作区成员的功能。此标志可以指定多次，这将启用所有指定的功能。
--all-features
激活所有选定包的所有可用功能。
--no-default-features
不要激活所选包的 default 功能。

编译选项

--target 目标架构
为给定的体系结构进行基准测试。默认为主机体系结构。目标架构的一般格式为 <arch><sub>-<vendor>-<sys>-<abi>。运行 rustc --print target-list 以获取受支持目标的列表。此标志可以指定多次。

这也可以使用 build.target 配置值 来指定。

请注意，指定此标志会使 Cargo 以不同的模式运行，其中目标工件放置在单独的目录中。有关更多详细信息，请参阅构建缓存文档。

--profile 名称
使用给定的配置文件进行基准测试。有关配置文件的更多详细信息，请参阅参考。
--timings=fmts
输出信息，说明每次编译需要多长时间，并跟踪随时间推移的并发信息。接受可选的逗号分隔的输出格式列表；不带参数的 --timings 将默认为 --timings=html。指定输出格式（而不是默认格式）是不稳定的，需要 -Zunstable-options。有效的输出格式

  • html（不稳定，需要 -Zunstable-options）：将人类可读的文件 cargo-timing.html 写入 target/cargo-timings 目录，其中包含编译报告。如果您想查看旧的运行，还可以将报告写入文件名中带有时间戳的同一目录。HTML 输出仅适用于人类阅读，不提供机器可读的计时数据。
  • json（不稳定，需要 -Zunstable-options）：发出有关计时信息的机器可读 JSON 信息。

输出选项

--target-dir 目录
所有生成的工件和中间文件的目录。也可以使用 CARGO_TARGET_DIR 环境变量或 build.target-dir 配置值 来指定。默认为工作空间根目录中的 target。

显示选项

默认情况下，Rust 测试工具会隐藏基准测试执行的输出，以保持结果可读性。可以通过将 --nocapture 传递给基准测试二进制文件来恢复基准测试输出（例如，用于调试）

cargo bench -- --nocapture
-v
--verbose
使用详细输出。可以指定两次以获得“非常详细”的输出，其中包括额外的输出，例如依赖项警告和构建脚本输出。也可以使用 term.verbose 配置值 来指定。
-q
--quiet
不要打印 Cargo 日志消息。也可以使用 term.quiet 配置值 来指定。
--color 何时
控制何时使用彩色输出。有效值

  • auto（默认）：自动检测终端上是否支持颜色。
  • always：始终显示颜色。
  • never：从不显示颜色。

也可以使用 term.color 配置值 来指定。

--message-format fmt
诊断消息的输出格式。可以指定多次，并由逗号分隔的值组成。有效值

  • human（默认）：以人类可读的文本格式显示。与 short 和 json 冲突。
  • short：发出更短、人类可读的文本消息。与 human 和 json 冲突。
  • json：将 JSON 消息发送到标准输出。有关更多详细信息，请参阅参考。与 human 和 short 冲突。
  • json-diagnostic-short：确保 JSON 消息的 rendered 字段包含来自 rustc 的“short”渲染。不能与 human 或 short 一起使用。
  • json-diagnostic-rendered-ansi：确保 JSON 消息的 rendered 字段包含嵌入式 ANSI 颜色代码，以遵循 rustc 的默认配色方案。不能与 human 或 short 一起使用。
  • json-render-diagnostics：指示 Cargo 不要在打印的 JSON 消息中包含 rustc 诊断信息，而是 Cargo 本身应该渲染来自 rustc 的 JSON 诊断信息。Cargo 自己的 JSON 诊断信息和来自 rustc 的其他诊断信息仍然会发出。不能与 human 或 short 一起使用。

清单选项

--manifest-path 路径
Cargo.toml 文件的路径。默认情况下，Cargo 在当前目录或任何父目录中搜索 Cargo.toml 文件。
--ignore-rust-version
忽略包中的 rust-version 规范。
--locked
断言使用的依赖项和版本与最初生成现有 Cargo.lock 文件时完全相同。在出现以下任一情况时，Cargo 将退出并报错

  • 缺少锁文件。
  • 由于不同的依赖项解析，Cargo 尝试更改锁文件。

它可以用于需要确定性构建的环境中，例如在 CI 管道中。

--offline
阻止 Cargo 出于任何原因访问网络。如果没有此标志，Cargo 在需要访问网络而网络不可用时将停止并报错。使用此标志，Cargo 将尝试在可能的情况下在没有网络的情况下继续。

请注意，这可能会导致与在线模式不同的依赖项解析。Cargo 将限制自身使用本地下载的 crate，即使本地索引副本中可能指示有更新的版本。请参阅 cargo-fetch(1) 命令以在脱机之前下载依赖项。

也可以使用 net.offline 配置值 指定。

--frozen
等效于同时指定 --locked 和 --offline。

通用选项

+toolchain
如果 Cargo 是使用 rustup 安装的，并且 cargo 的第一个参数以 + 开头，它将被解释为 rustup 工具链名称（例如 +stable 或 +nightly）。有关工具链覆盖如何工作的更多信息，请参阅 rustup 文档。
--config KEY=VALUE 或 PATH
覆盖 Cargo 配置值。参数应采用 KEY=VALUE 的 TOML 语法，或作为额外配置文件的路径提供。此标志可以指定多次。有关更多信息，请参阅 命令行覆盖部分。
-C PATH
在执行任何指定的操作之前更改当前工作目录。例如，这会影响 Cargo 默认情况下在何处查找项目清单 (Cargo.toml)，以及搜索 .cargo/config.toml 的目录。此选项必须出现在命令名称之前，例如 cargo -C path/to/my-project build。

此选项仅在 夜间版通道 上可用，并且需要 -Z unstable-options 标志才能启用（请参阅 #10098）。

-h
--help
打印帮助信息。
-Z flag
Cargo 的不稳定（仅限夜间版）标志。运行 cargo -Z help 获取详细信息。

其他选项

--jobs 参数会影响基准测试可执行文件的构建，但不会影响运行基准测试时使用的线程数。Rust 测试工具在单个线程中串行运行基准测试。

-j N
--jobs N
要运行的并行作业数。也可以使用 build.jobs 配置值 指定。默认为逻辑 CPU 的数量。如果为负数，则将最大并行作业数设置为逻辑 CPU 数加上提供的值。如果提供了字符串 default，则会将值设置回默认值。不应为 0。

虽然 cargo bench 涉及编译，但它不提供 --keep-going 标志。使用 --no-fail-fast 运行尽可能多的基准测试，而不会在第一次失败时停止。要“编译”尽可能多的基准测试，请使用 --benches 单独构建基准测试二进制文件。例如

cargo build --benches --release --keep-going
cargo bench --no-fail-fast

环境

有关 Cargo 读取的环境变量的详细信息，请参阅参考。

退出状态

  • 0：Cargo 成功。
  • 101：Cargo 未能完成。

示例

  1. 构建并执行当前包的所有基准测试

    cargo bench

  2. 仅运行特定基准测试目标中的特定基准测试

    cargo bench --bench bench_name -- modname::some_benchmark

另请参阅

cargo(1)，cargo-test(1)