ANÁLISE DE ERROS CONCEITUAIS PRODUZIDOS POR ALGORITMOS DE IA GENERATIVA QUANDO CONSULTADOS SOBRE HIDRÁULICA

Código

XVII-SRHNE0293

Autores

André Luiz Andrade Simões, Daniel Castro Hora Fontes, Igor Silva Moreira dos Anjos

Tema

06. Educação e capacitação em recursos hídricos

Resumo

O uso de algoritmos de inteligência artificial (IA) generativa tem se expandido na educação superior, especialmente em cursos de engenharia. Este estudo avalia a precisão de três algoritmos de IA (ChatGPT-3.5, Perplexity e Gemini) ao responderem a questões conceituais de Hidráulica, medindo o número de erros cometidos. A metodologia incluiu a aplicação de perguntas classificadas em quatro níveis de dificuldade aos algoritmos, seguido da análise estatística dos erros. Os resultados indicaram a presença de erros conceituais em todos os algoritmos. Testes estatísticos, incluindo Shapiro-Wilk para normalidade, ANOVA e Kruskal-Wallis para diferenças significativas, revelaram que as distribuições dos resíduos dos algoritmos não seguem a normalidade e que não há diferenças significativas entre eles. Conclui-se que nenhum algoritmo se destaca significativamente em termos de precisão, indicando a necessidade de cautela ao utilizar essas IAs para consultas técnicas em hidráulica.