测试

rustc 有一个内置工具,用于构建和运行 crate 的测试。关于编写和运行测试的更多信息,请参见《Rust 编程语言》书中的 测试章节

测试被写成带有 #[test] 属性 的自由函数。例如

#[test]
fn it_works() {
    assert_eq!(2 + 2, 4);
}

如果测试在没有错误的情况下返回,则认为“通过”。如果它们 panic,或者返回实现了 Termination trait 且值为非零的类型(如 Result),则认为“失败”。

通过将 --test 选项 传递给 rustc,编译器将以特殊模式构建 crate,以构造一个可执行文件,用于运行 crate 中的测试。--test 标志将进行以下更改:

  • crate 将被构建为 bin crate 类型,强制其成为一个可执行文件。
  • 将可执行文件与标准库中的测试框架 libtest 链接,libtest 负责运行测试。
  • 合成一个 main 函数,用于处理命令行参数并运行测试。这个新的 main 函数将替换任何现有的 main 函数作为可执行文件的入口点,尽管现有的 main 函数仍然会被编译。
  • 启用 test cfg 选项,这允许你的代码使用条件编译来检测是否正作为测试构建。
  • 启用带有 testbench 属性注解的函数的构建,这些函数将由测试框架运行。

创建可执行文件后,你可以运行它来执行测试并接收关于哪些测试通过、哪些失败的报告。如果你使用 Cargo 管理你的项目,它有一个内置的 cargo test 命令,可以自动处理所有这些。输出示例如下:

running 4 tests
test it_works ... ok
test check_valid_args ... ok
test invalid_characters ... ok
test walks_the_dog ... ok

test result: ok. 4 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.00s

注意:测试必须使用 unwind panic 策略 构建。这是因为所有测试都在同一个进程中运行,并且旨在捕获 panic,而使用 abort 策略是无法做到的。有关通过在单独进程中生成测试来实验性支持 abort 策略的信息,请参见不稳定的 -Z panic-abort-tests 选项。

测试属性

测试通过在自由函数上使用属性来指示。以下属性用于测试,更多详细信息请参见链接的文档:

  • #[test] — 指示一个函数是要运行的测试。
  • #[bench] — 指示一个函数是要运行的基准测试。基准测试目前不稳定,仅在 nightly channel 中可用,更多详细信息请参见 不稳定文档
  • #[should_panic] — 指示测试函数只有在函数 panic 时才会通过。
  • #[ignore] — 指示测试函数会被编译,但默认不运行。要运行这些测试,请参见 --ignored--include-ignored 选项。

CLI 参数

libtest 框架有几个命令行参数来控制其行为。

注意:使用 cargo test 运行时,libtest CLI 参数必须放在 -- 参数之后,以区分 Cargo 的标志和测试框架的标志。例如:cargo test -- --nocapture

过滤器

位置参数(没有 - 前缀的参数)被视为过滤器,只会运行名称匹配其中一个字符串的测试。过滤器将匹配测试函数的完整路径中找到的任何子字符串。例如,如果测试函数 it_works 位于模块 utils::paths::tests 中,则任何过滤器 workspathutils::utils::paths::tests::it_works 都会匹配该测试。

有关控制运行哪些测试的更多选项,请参见 选择选项

操作选项

以下选项执行不同于运行测试的操作。

--list

打印所有测试和基准测试的列表。不运行任何测试。过滤器 可用于仅列出匹配的测试。

-h, --help

显示使用信息和命令行选项。

选择选项

以下选项改变测试的选择方式。

--test

这是默认模式,所有测试都会运行,同时所有基准测试仅运行一次迭代(以确保基准测试正常工作,而不花费时间实际执行基准测试)。这可以与 --bench 标志结合使用,同时运行测试和执行完整的基准测试。

--bench

在此模式下运行会忽略测试,仅运行基准测试。这可以与 --test 结合使用,同时运行基准测试和测试。

--exact

这强制 过滤器 精确匹配测试的完整路径。例如,如果测试 it_works 位于模块 utils::paths::tests 中,则只有字符串 utils::paths::tests::it_works 会匹配该测试。

--skip FILTER

跳过名称包含给定 FILTER 字符串的任何测试。此标志可以多次传递。

--ignored

仅运行标记有 ignore 属性 的测试。

--include-ignored

同时运行 被忽略的 和未被忽略的测试。

--exclude-should-panic

排除标记有 should_panic 属性 的测试。

⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #82348

执行选项

以下选项影响测试的执行方式。

--test-threads NUM_THREADS

设置并行运行测试所使用的线程数。默认情况下,使用硬件上通过 available_parallelism 指示的可用并发量。

这也可以通过设置 RUST_TEST_THREADS 环境变量来指定。

--force-run-in-process

使用 abort panic 策略 时,强制测试在单个进程中运行。

⚠️ 🚧 这仅在使用不稳定的 -Z panic-abort-tests 选项时有效,且需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #67650

--ensure-time

⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #64888不稳定文档

--shuffle

以随机顺序运行测试,而不是默认的字母顺序。

这也可以通过将 RUST_TEST_SHUFFLE 环境变量设置为非 0 的任何值来指定。

输出的随机数生成器种子可以传递给 --shuffle-seed,以便再次以相同的顺序运行测试。

请注意,--shuffle 不影响测试是否并行运行。要按随机顺序串行运行测试,请使用 --shuffle --test-threads 1

⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #89583

--shuffle-seed SEED

类似于 --shuffle,但使用 SEED 初始化随机数生成器。因此,两次调用测试框架时使用 --shuffle-seed SEED 会以相同的顺序运行测试两次。

SEED 是任意 64 位无符号整数,例如,由 --shuffle 生成的一个。

这也可以通过设置 RUST_TEST_SHUFFLE_SEED 环境变量来指定。

⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #89583

输出选项

以下选项影响输出行为。

-q, --quiet

每个测试显示一个字符,而不是每测试显示一行。这是 --format=terse 的别名。

--nocapture

不捕获测试的 stdout 和 stderr,允许测试打印到控制台。通常情况下,输出会被捕获,仅在测试失败时显示。

这也可以通过将 RUST_TEST_NOCAPTURE 环境变量设置为非 0 的任何值来指定。

--show-output

在所有测试运行完成后,显示成功测试的 stdout 和 stderr。

这与 --nocapture 不同,--nocapture 允许测试在运行时打印,如果多个测试并行运行,可能会导致输出交错,而 --show-output 确保输出是连续的,但需要等待所有测试完成。

--color COLOR

控制何时使用彩色终端输出。有效选项:

  • auto:如果 stdout 是 tty 且未使用 --nocapture 则进行颜色化。这是默认设置。
  • always:总是对输出进行颜色化。
  • never:从不对输出进行颜色化。

--format FORMAT

控制输出的格式。有效选项:

  • pretty:这是默认格式,每个测试占一行。
  • terse:每个测试仅显示一个字符。--quiet 是此选项的别名。
  • json:每行输出一个 JSON 对象。⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #49359

--logfile PATH

将测试结果写入指定文件。

此选项已弃用。

--report-time

⚠️ 🚧 此选项 不稳定,需要 -Z unstable-options 标志。有关更多信息,请参见 跟踪问题 #64888不稳定文档

不稳定选项

一些 CLI 选项以“不稳定”状态添加,旨在进行实验和测试,以确定选项是否正常工作、设计是否合理以及是否有用。该选项可能无法正常工作、会中断或随时更改。为了表明你知晓正在使用不稳定选项,需要传递 -Z unstable-options 命令行标志。

基准测试

libtest 框架支持对带有 #[bench] 属性注解的函数运行基准测试。基准测试目前不稳定,仅在 nightly channel 中可用。更多信息可在 不稳定书 中找到。

自定义测试框架

nightly channel 上提供了使用自定义测试框架的实验性支持。有关更多信息,请参见 跟踪问题 #50297custom_test_frameworks 文档