A Microsoft lançou duas ferramentas open-source, RAMPART e Clarity, para ajudar desenvolvedores a testar e registrar a segurança de agentes de IA desde os estágios iniciais de desenvolvimento, permitindo detectar injeções, vazamento de dados e problemas comportamentais enquanto as decisões de projeto ainda podem ser revistas com facilidade.
A Microsoft disponibilizou duas ferramentas open-source chamadas RAMPART e Clarity com o objetivo de facilitar os testes de segurança de agentes de IA durante o desenvolvimento.
RAMPART funciona como um framework de testes de segurança e segurança para agentes, integrado ao Pytest, que permite escrever e executar casos de teste sobre questões adversariais e benignas e diferentes categorias de dano.
Os desenvolvedores podem criar testes que atacam ou sondam um agente para explorar violações de segurança, como injeções de prompt indiretas, regressões de comportamento e exfiltração de dados, e o RAMPART avalia os resultados e gera relatórios.
Para rodar os testes o que é necessário é um adapter que conecte o agente à suíte, e a ferramenta também se baseia no trabalho anterior da Microsoft com o PyRIT.
Clarity é descrita pela Microsoft como uma “structured sounding board”, ou seja, um parceiro de raciocínio que questiona ideias e orienta o time antes mesmo de escrever o primeiro código.
Essa ferramenta ajuda equipes a esclarecer o problema, explorar soluções, analisar possíveis falhas e rastrear decisões e suposições.
Um dos objetivos é tratar cedo decisões importantes — por exemplo, o acesso de um agente a uma ferramenta — para que esses pontos sejam resolvidos antes da construção do sistema.
“We wanted to give product managers and engineers a way to pressure-test their assumptions at the start of a project, when changing course is cheap and the right conversation can save months of rework,” disse Ram Shankar Siva Kumar, fundador do AI Red Team da Microsoft.
Outra motivação para investir nessas ferramentas foi tornar incidentes reproduzíveis, mitigações verificáveis e transformar aprendizados de red teaming em ativos de engenharia executáveis.
Segundo a Microsoft, enquanto o PyRIT é otimizado para descoberta em caixa-preta por pesquisadores de segurança depois que o sistema já existe, o RAMPART foi pensado para engenheiros enquanto o sistema está sendo construído.
Juntas, essas abordagens visam mover a segurança de IA de uma revisão pontual para um conjunto de artefatos vivos que podem ser usados ao longo do ciclo de vida do desenvolvimento.
