Vibesec lab: uma ferramenta para análise de vulnerabilidades em código gerado por LLMs

Abstract

A crescente adoção de Modelos de Linguagem de Grande Escala (LLMs) para geração automatizada de código levanta uma preocupação ainda pouco explorada: o perfil de segurança do software produzido quando desenvolvedores delegam integralmente a síntese do código à inteligência artificial, prática denominada vibe coding. O presente trabalho apresenta a ferramenta VibeSec Lab, com o objetivo de investigar, de forma sistemática e reprodutível, o perfil de vulnerabilidades presentes no código gerado por LLMs no paradigma vibe coding. Para validação da ferramenta, foi realizado um experimento controlado que submeteu à avaliação quatro modelos representativos do mercado (Minimax M25, Claude Haiku 4.5, Grok Code Fast 1 e Gemini 2.5 Flash) para a geração de quatro domínios de aplicações web completas (marketplace de anúncios, gestão de times, gestão financeira e prontuário eletrônico), com análise automática por meio de Static Application Security Testing (SAST) e Software Composition Analysis (SCA) sobre os 16 (dezesseis) projetos produzidos. Como resultado, foram identificados 52 (cinquenta e dois) true positives confirmados em 15 (quinze) dos 16 (dezesseis) projetos analisados, com predominância de falhas de autorização do tipo IDOR (Insecure Direct Object Reference) (11 (onze) ocorrências), credenciais embutidas no código (6 (seis) ocorrências) e ausência de validação de força de senha (6 (seis) ocorrências), categorias mapeadas principalmente para A01 - Broken Access Control e A07 - Authentication Failures no OWASP (Open Web Application Security Project) Top 10:2025, que juntas concentram 80,8% de todos os achados; o Gemini 2.5 Flash obteve o melhor desempenho de segurança (7 (sete) vulnerabilidades, nenhum achado relacionado à SCA), enquanto o Minimax M25 concentrou o maior número de true positives (21 (vinte e um), majoritariamente oriundos de dependências com CVEs (Common Vulnerabilities and Exposures) conhecidos, evidenciando que o vibe coding introduz vulnerabilidades relevantes e sistemáticas em sistemas web complexos e que o perfil de risco varia significativamente conforme o modelo e o domínio de aplicação.