Os chatbots baseados em LLM estão a multiplicar-se, mas testá-los levanta um desafio novo: as respostas não são determinísticas e os métodos tradicionais de QA não chegam. Nesta apresentação será partilhado um caso real da Axians para o IPDJ (Instituto Português do Desporto e Juventude): garantir a qualidade do Appy, o chatbot do Apptiva, que responde com recurso a um LLM.

Começámos por adaptar a ferramenta DeepEval, que usa a abordagem “AI as a Judge”. Rapidamente percebemos que os seus resultados — uma simples contagem de casos aprovados e reprovados face a um intervalo predefinido — não eram suficientes para garantir qualidade. Por isso construímos uma camada de testes própria, organizada em várias dimensões: testes funcionais, em que gerámos massa de dados com IA para validar se o chatbot respondia de forma coerente às FAQ e às suas variações naturais; testes de segurança, para garantir que informação interna e dos utilizadores não era exposta e que não eram dadas recomendações de saúde ou medicação; e testes de red team, focados em prompt injection e code injection.
Para tornar os resultados acionáveis, usámos IA generativa para criar um relatório visual que permite comparar o histórico de execuções e analisar regressões e melhorias a cada mudança de modelo, de prompt base ou dos textos das FAQ.
Termino com a ideia que considero central: o QA precisa de dominar conceitos técnicos como “AI as a Judge” e combiná-los com o seu conhecimento de qualidade para testar com sucesso a nova geração de aplicações com LLM.