Anleitung zum Testen anderer Tools

Andere Scantools als das vorkonfigurierte CASA verwenden:

Entwickler, die SAST- und DAST-Scantools (intern entwickelte oder kommerzielle Tools) verwenden möchten, müssen Folgendes bereitstellen:

  • Die Scanausgabe im Vergleich zum OWASP-Benchmark. Es wird davon ausgegangen, dass Scantools alle echten Sicherheitslücken erkennen, die CASA zugeordnet sind (siehe Anleitung unten).
  • Die Scanrichtlinie. Dies kann ein Export der Tool-Scankonfiguration oder ein Screenshot sein, der zeigt, welche CWEs das Tool gescannt hat. 

Benchmark für Lauftraining 

Zum Ausführen von Benchmark müssen Sie Folgendes installiert haben:

  1. GIT: https://git-scm.com/ oder https://github.com/
  2. Maven: https://maven.apache.org/ (Version 3.2.3 oder höher)
  3. Java: https://www.oracle.com/java/technologies/javase-downloads.html (Java 7 oder 8) (64-Bit)

Für CASA-Zwecke müssen Sie eine Benchmark-Bewertungsübersicht für Ihr DAST- oder SAST-Scantool generieren und einreichen. Der Benchmark enthält eine große Anzahl von Tests und der Scan kann einige Zeit dauern. 

Führen Sie die folgenden Befehle aus, um die Benchmark-Anwendung herunterzuladen und auszuführen:   

$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava
    $ cd benchmark
    $ mvn compile
    $ runBenchmark.sh

Benchmark wird unter https://localhost:8443/Benchmark/ ausgeführt. Dieser kann als Ziel für alle DAST-Scans verwendet werden. Jetzt können Sie das Tool Ihrer Wahl auf den Benchmark-Quellcode und die Laufzeitanwendung anwenden. Speichern Sie die Ergebnisse im Verzeichnis „/results“ des Benchmark-Repositorys. 

Fügen Sie Folgendes in den Namen der Ausgabedatei für den Kurzübersichtsgenerator ein: 

  1. Die Benchmark-Versionsnummer, um zu verhindern, dass die falschen erwarteten Ausgaben zugeordnet werden
  2. Der Name Ihres Scantools
  3. Die Version Ihres Scantools 

Der folgende Beispielname der Ausgabedatei ist einem Scan mit Version 3.0 von „toolname“ zugeordnet und mit der Benchmark-Version 1.2 verglichen.  

Benchmark_1.2-toolname-v3.0.xml

Benchmark-Wert generieren

Benchmarks für Anwendungen anhand von vier Messwerten: 

  1. Richtig positive Ergebnisse: Das Tool erkennt eine echte Sicherheitslücke richtig.
  2. Falsch negative Ergebnisse – die Tools erkennen keine echte Sicherheitslücke
  3. True Negative: Das Tool ignoriert einen Fehlalarm korrekt. 
  4. Falsch-negativ: Das Tool ignoriert einen Fehlalarm nicht.

Auf der Benchmark-Kurzübersicht sehen Sie, wie Ihr Scantool in diesen Dimensionen abschneidet. Wenn Sie das Benchmark-Tool von GitHub herunterladen, enthält es das BenchmarkScore-Tool. Wenn Sie dieses Tool auf Ihre Scanausgabe anwenden, wird eine PNG-Grafik mit Ihrem Endergebnis generiert. Beispielergebnisse finden Sie hier. Führen Sie den folgenden Befehl aus, um Ihre eigenen Benchmark-Kurzübersichten zu generieren: 

sh createScorecards.sh

Dadurch wird für jede Ausgabe im Verzeichnis „/results“ eine Kurzübersicht erstellt. Die generierte Kurzübersicht wird im Verzeichnis „/scorecard“ gespeichert. Reichen Sie die Kurzübersicht im Rahmen Ihrer CASA-Bewertung ein.