Um Estudo Comparativo de Estratégias de Seleção de Exemplos para In-Context Learning aplicado à Classificação Automática de Texto com Grandes Modelos de Linguagem

Gabriel Silva Prenassi, Guilherme Fonseca, Davi Reis, Washington Cunha, Marcos André Gonçalves, Leonardo Rocha

Abstract: Resumo A Classificação Automática de Texto (CAT) com Grandes Modelos de Linguagem (LLMs) pode ser feita via zero-shot (baixo custo, menor efetividade) ou fine-tuning (alto custo, maior efetividade). Este estudo investiga o in-context learning, abordagem intermediária que insere poucos exemplos no prompt, avaliando estratégias de seleção de exemplos. Comparamos seleção aleatória com métodos baseados em representações vetoriais (TF-IDF, RoBERTa, SBERT e LLM2Vec). Os resultados reforçam que o fine-tuning de Small Language Models (SLMs), como RoBERTa, oferece melhor custo-benefício. Ainda assim, o incontext learning mostra-se promissor, superando o zero-shot em efetividade sem exigir os altos custos do fine-tuning, sobretudo com boas estratégias de seleção.

External IDs:doi:10.5753/sbbd.2025.247808