Novos desafios para a IA: a redução da energia requerida na inferência
DOI:
https://doi.org/10.5753/compbr.2026.57.9307Keywords:
Inferência de baixa energia para LLMs, SLMsAbstract
O desafio da adoção massiva da inteligência artificial na sociedade foi devidamente conquistado. A velocidade de adoção das últimas tecnologias, sobretudo após o surgimento dos grandes modelos de linguagem, tem surpreendido até os mais experientes pesquisadores e usuários. A maior parte das pesquisas focam na aceleração pela alteração do hardware e estratégias baseadas puramente em software permanecem pouco exploradas ou sacrificam o desempenho. Neste trabalho discutimos os ganhos energéticos obtidos pelo uso concatenado de dois modelos de linguagem pequenos, dividindo o processo de geração de código em etapas de raciocínio. São apresentados resultados reais de medição de energia em diferentes máquinas, demonstrando que a redução de energia por software pode ser realizada no escopo dos modelos de grandes linguagens.
Downloads
Referências
ZHAO W.X. et al., "A Survey of Large Language Models," arXiv preprint arXiv:2303.18223, 2023. [Online].
M. D. GOMONY, M.D. et al., "LLMs at the Edge: Hype or Hope?," in Proceedings of the International Conference on Embedded Computer Systems: Architectures, Modeling, and Simulation (SAMOS), 2025.
WEI J. et al., "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models," in Advances in Neural Information Processing Systems 35 (NeurIPS 2022), 2022, pp. 24824–24837. [Online].
YAO, S. et al., "Tree of Thoughts: Deliberate Problem Solving with Large Language Models," in Advances in Neural Information Processing Systems 36 (NeurIPS 2023), 2023. [Online].
N. ALIZADEH, et al. “Analyzing the Energy and Accuracy of LLMs in Software Development” Available: [link]
Downloads
Published
Como Citar
Issue
Section
Licença
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial 4.0 International License.
