Análise das Respostas de LLMs em Relação ao Conteúdo Introdutório de Programação: um Comparativo entre o ChatGPT e o Gemini

Abstract

Recentemente, o uso dos grandes modelos de linguagem (LLMs – Large Language Models) para processamento de linguagem natural teve destaque dentre as tecnologias atuais. Essa tecnologia trouxe uma gama de possibilidades de uso em diversas áreas, incluindo o ensino de programação, uma vez que esses modelos podem criar códigos de programas. Dentre esses modelos, dois são conhecidos: o ChatGPT da OpenAI e o Gemini da Google, e ambos demonstram habilidades de criar, corrigir e explicar códigos de programação em diversas linguagens. Em um trabalho anterior, foram feitos testes e analisadas as respostas do ChatGPT em relação ao conteúdo introdutório de programação, do ponto de vista de estudantes iniciantes no assunto. Este trabalho estende o trabalho anterior e adiciona testes com o Gemini, também em relação ao mesmo conteúdo. O objetivo é verificar se esses modelos são adequados para estudantes iniciantes em programação e se é possível utilizá-los para o aprendizado desse conteúdo. Assim como no trabalho anterior, foram feitos testes qualitativos, nos quais eram feitas algumas interações com o modelo caso a resposta inicial não fosse satisfatória, e testes quantitativos, nos quais não foram feitas essas interações. Todos os testes foram feitos tanto no ChatGPT quanto no Gemini e suas respostas foram analisadas. Ambos apresentaram a existência de potencial para responder e explicar corretamente códigos gerados, mas há ressalvas. O desempenho geral dos LLMs testados, em relação às respostas corretas, foi de ~78,2% para o ChatGPT e ~69,6% para o Gemini. Mesmo com esse potencial para auxiliar no processo de aprendizagem de programação, as respostas geradas pelos LLMs não devem ser consideradas totalmente corretas, demandando conhecimento prévio de quem os usa para analisá-las e fazer uso delas.