其他工具测试指南

使用 CASA 预配置的扫描工具以外的扫描工具：

希望使用 SAST 和 DAST 扫描工具（内部开发或商业工具）的开发者必须提供：

  • 针对 OWASP 基准的扫描输出。扫描工具应检测到与 CASA 对应的所有真正正例漏洞（请参阅以下说明）
  • 扫描政策。这可以是工具扫描配置的导出内容，或显示工具扫描的 CWE 的屏幕截图。 

运行基准

您必须安装以下软件才能运行基准测试：

  1. GIT： https://git-scm.com/ 或 https://github.com/
  2. Maven：https://maven.apache.org/（版本：3.2.3 或更高版本。）
  3. Java：https://www.oracle.com/java/technologies/javase-downloads.html（Java 7 或 8）（64 位）

为了满足 CASA 要求，请务必为您的 DAST 或 SAST 扫描工具生成并提交基准评分卡。请注意，基准测试包含大量测试，可能需要一些时间才能完成扫描。 

运行以下命令以下载并运行基准测试应用：   

$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava
    $ cd benchmark
    $ mvn compile
    $ runBenchmark.sh

基准测试将在 https://localhost:8443/benchmark/ 上运行。这可以用作任何 DAST 扫描的目标。现在，您可以针对基准测试源代码和运行时应用运行所选工具。请务必将结果保存在基准测试代码库的 /results 目录中。 

在统计信息摘要生成器的输出文件名中添加以下内容：

  1. 基准版本号，用于防止映射错误的预期输出
  2. 扫描工具的名称
  3. 扫描工具的版本

以下示例输出文件名映射到使用“toolname”版本 3.0 运行的扫描，并与基准版本 1.2 进行比较。  

Benchmark_1.2-toolname-v3.0.xml

生成基准分数

基准测试会根据以下四个指标为应用评分：

  1. 真正例 - 该工具正确识别实际漏洞
  2. 假负例 - 工具无法识别出真正的漏洞
  3. 真负例 - 工具正确忽略了误报
  4. 假负例 - 该工具无法忽略误报

基准统计信息摘要概述了扫描工具在这些维度上的表现。从 GitHub 下载基准测试工具时，其中包含 BenchmarkScore 工具。对扫描输出运行此工具将生成一个 PNG 图表，其中概述了最终得分。您可以在此处找到示例结果。如需生成您自己的基准评分卡，请运行以下命令： 

sh createScorecards.sh

这将为 /results 目录中的每个输出创建一个计分卡。生成的计分卡将保存在 /scorecard 目录中。在 CASA 评估过程中提交该计分卡。