Orientación para pruebas con otras herramientas

Uso de herramientas de análisis distintas de las preconfiguradas de CASA:

Los desarrolladores que deseen usar herramientas de análisis de SAST y DAST (herramientas comerciales o desarrolladas de forma interna) deben proporcionar lo siguiente:

  • El resultado del análisis con la Comparativa de OWASP. Se espera que las herramientas de análisis detecten todas las vulnerabilidades verdaderas positivas que se asignan a CASA (consulta las instrucciones a continuación).
  • La política de análisis Esto podría ser una exportación de la configuración de análisis de la herramienta o una captura de pantalla que muestre con qué CWE se analizó la herramienta. 

Comparativa de Running 

Para ejecutar la comparativa, debes tener instalado lo siguiente:

  1. GIT: https://git-scm.com/ o https://github.com/
  2. Maven: https://maven.apache.org/ (funciona la versión 3.2.3 o una posterior)
  3. Java: https://www.oracle.com/java/technologies/javase-downloads.html (Java 7 u 8) (64 bits)

Para los fines de CASA, asegúrate de generar y enviar una tabla de evaluación de comparativas para tu herramienta de análisis DAST o SAST. Ten en cuenta que la comparativa contiene una gran cantidad de pruebas y puede tardar un tiempo en analizarse. 

Ejecuta los siguientes comandos para descargar y ejecutar la aplicación de comparativas:  

$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava
    $ cd benchmark
    $ mvn compile
    $ runBenchmark.sh

La comparativa se ejecutará en https://localhost:8443/benchmark/. Esto se puede usar como objetivo para cualquier análisis de DAST. Ahora puedes ejecutar la herramienta que prefieras en el código fuente de Benchmark y la aplicación de tiempo de ejecución. Asegúrate de guardar los resultados en el directorio /results del repositorio de Benchmark. 

Incluye lo siguiente en el nombre del archivo de salida del generador de cuadros de evaluación: 

  1. El número de versión de la comparativa, para evitar que se asignen los resultados esperados incorrectos
  2. El nombre de tu herramienta de análisis 
  3. La versión de tu herramienta de análisis 

El siguiente ejemplo de nombre de archivo de salida se asigna a una ejecución de análisis con la versión 3.0 de “toolname” y se compara con la versión 1.2 de Benchmark. 

Benchmark_1.2-toolname-v3.0.xml

Cómo generar una puntuación de comparativa

Las comparativas califican las aplicaciones en función de cuatro métricas: 

  1. Verdaderos positivos: La herramienta identifica correctamente una vulnerabilidad real.
  2. Falsos negativos: Las herramientas no identifican una vulnerabilidad real. 
  3. Verdadero negativo: La herramienta ignora correctamente una falsa alarma. 
  4. Falso negativo: La herramienta no ignora una alarma falsa.

En la tabla de evaluación de comparativas, se describe el rendimiento de tu herramienta de análisis en estas dimensiones. Cuando descargas la herramienta de comparativas de GitHub, esta incluye una herramienta de BenchmarkScore. Si ejecutas esta herramienta en el resultado del análisis, se generará un gráfico PNG que describa tu puntuación final. Puedes encontrar ejemplos de resultados aquí. Para generar tus propios cuadros de evaluación de comparativas, ejecuta el siguiente comando:

sh createScorecards.sh

Esto creará un cuadro de evaluación para cada resultado dentro del directorio /results. El cuadro de evaluación generado se guardará en el directorio /scorecard. Envía el cuadro de evaluación como parte de tu evaluación en CASA.