其他工具測試指南

使用非預先設定的 CASA 掃描工具：

如要使用 SAST 和 DAST 掃描工具 (內部開發或商業工具)，開發人員必須提供：

  • 依據 OWASP 基準的掃描輸出內容。掃描工具應能偵測所有與 CASA 對應的真陽性漏洞 (請參閱下方說明)
  • 掃描政策。這可以是工具掃描設定的匯出內容，或是顯示工具掃描哪些 CWE 的螢幕截圖。 

執行基準測試

您必須安裝下列項目，才能執行基準測試：

  1. GIT： https://git-scm.com/ 或 https://github.com/
  2. Maven： https://maven.apache.org/ (版本：3.2.3 以上版本)
  3. Java： https://www.oracle.com/java/technologies/javase-downloads.html (Java 7 或 8) (64 位元)

為符合 CASA 規定，請務必為 DAST 或 SAST 掃描工具產生並提交基準評量表。請注意，基準測試包含大量測試，因此掃描作業可能需要一段時間。 

執行下列指令，下載並執行基準測試應用程式：   

$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava
    $ cd benchmark
    $ mvn compile
    $ runBenchmark.sh

基準測試會在 https://localhost:8443/benchmark/ 執行。這個標籤可用於任何 DAST 掃描作業的目標。您現在可以針對基準測試原始碼執行選擇的工具，並執行執行階段應用程式。請務必將結果儲存在基準存放區的 /results 目錄中。 

在分數卡產生器的輸出檔案名稱中加入下列內容：

  1. 基準版本號碼，用於避免對應錯誤的預期輸出內容
  2. 掃描工具的名稱
  3. 掃描工具的版本

以下範例輸出檔案名稱會對應至使用「工具名稱」3.0 版和基準版本 1.2 的掃描作業。  

Benchmark_1.2-toolname-v3.0.xml

產生基準分數

基準評估會根據四項指標為應用程式評分：

  1. 真陽性 – 工具正確識別實際的安全漏洞
  2. 偽陰性：工具未能識別真正的安全漏洞
  3. 真陰性：工具正確忽略誤報
  4. 偽陰性：工具無法忽略誤報

基準評量表會概略說明掃描工具在這些維度上的表現。從 GitHub 下載基準測試工具時，其中會包含基準評分工具。針對掃描輸出內容執行這項工具，系統會產生 PNG 圖表，概略說明最終分數。您可以在這裡查看結果範例。如要產生自己的基準評量表，請執行下列指令：

sh createScorecards.sh

這會為 /results 目錄中的每個輸出結果建立結算資訊摘要。系統會將產生的評量表儲存至 /scorecard 目錄中。請提交評量表，作為 CASA 評估的一部分。