Usar ferramentas de verificação diferentes da CASA pré-configurada:
Os desenvolvedores que quiserem usar ferramentas de verificação SAST e DAST (desenvolvidas internamente ou comerciais) precisam fornecer:
- A saída da verificação em relação ao comparativo de mercado da OWASP. A expectativa é que as ferramentas de verificação detectem todas as vulnerabilidades verdadeiras positivas que são mapeadas para a CASA (confira as instruções abaixo).
- A política de verificação. Pode ser uma exportação da configuração de verificação da ferramenta ou uma captura de tela mostrando quais CWEs a ferramenta verificou.
Como executar o comparativo de mercado
Você precisa ter o seguinte instalado para executar o Benchmark:
- GIT: https://git-scm.com/ ou https://github.com/
- Maven: https://maven.apache.org/ (versão: 3.2.3 ou mais recente).
- Java: https://www.oracle.com/java/technologies/javase-downloads.html (Java 7 ou 8) (64 bits)
Para fins de CASA, gere e envie uma placa de pontuação de comparativo de mercado para sua ferramenta de verificação DAST ou SAST. A comparação contém um grande número de testes e pode levar algum tempo para ser verificada.
Execute os comandos a seguir para fazer o download e executar o aplicativo de comparativo de mercado:
$ git clone https://github.com/OWASP-Benchmark/BenchmarkJava $ cd benchmark $ mvn compile $ runBenchmark.sh
O comparativo de mercado será executado em https://localhost:8443/benchmark/. Isso pode ser usado como o destino de qualquer verificação DAST. Agora você pode executar a ferramenta escolhida no código-fonte do Benchmark e no aplicativo de execução. Salve seus resultados no diretório /results do repositório de comparação de mercado.
Inclua o seguinte no nome do arquivo de saída do gerador de indicadores:
- O número da versão do comparativo de mercado, para evitar o mapeamento de saídas esperadas incorretas.
- O nome da sua ferramenta de verificação
- A versão da ferramenta de verificação
O exemplo de nome de arquivo de saída a seguir é mapeado para uma execução de verificação usando a versão 3.0 de "toolname" e comparado com a versão 1.2 do Benchmark.
Benchmark_1.2-toolname-v3.0.xml
Como gerar uma pontuação de comparação
O comparativo de mercado avalia os aplicativos com base em quatro métricas:
- Verdadeiros positivos: a ferramenta identifica corretamente uma vulnerabilidade real.
- Falsos negativos: as ferramentas não conseguem identificar uma vulnerabilidade real.
- Verdadeiro negativo: a ferramenta ignora corretamente um alarme falso.
- Falso negativo: a ferramenta não ignora um alarme falso.
O comparativo de mercado descreve o desempenho da sua ferramenta de verificação nessas dimensões. Quando você faz o download da ferramenta de comparação de mercado do GitHub, ela inclui uma ferramenta BenchmarkScore. Executar essa ferramenta na saída da verificação gera um gráfico PNG que descreve sua pontuação final. Os resultados de exemplo podem ser encontrados aqui. Para gerar suas próprias visões de resumo de comparativos de mercado, execute o seguinte comando:
sh createScorecards.sh
Isso vai criar uma visão geral para cada saída no diretório /results. O quadro de visão geral gerado será salvo no diretório /scorecard. Envie a visão geral como parte da avaliação da CASA.