Read this article in English

Todo time de atendimento de e-commerce tem o mesmo problema: milhares de avaliações de clientes em texto livre e nenhum tempo para ler. Quais falam de atraso na entrega? Quais clientes estão irritados? Quais precisam de alguém agindo hoje?

Eu queria saber se um modelo de linguagem pequeno consegue fazer essa triagem tão bem quanto um bem maior, por uma fração do custo. Então montei um experimento controlado com avaliações reais em português, um conjunto de teste rotulado à mão, intervalos de confiança e orçamento zero.

Resposta curta: um Qwen3-1.7B ajustado com QLoRA empata com um Qwen3-8B few-shot em dois dos três campos, perde 4 pontos de acurácia em sentimento e roda 3,7× mais rápido em lote. O experimento inteiro rodou nas GPUs T4 grátis do Kaggle; a preço de nuvem sob demanda, custaria cerca de US$ 1,30.

As descobertas mais interessantes estão nos detalhes: onde os modelos erram, e o campo em que um simples baseline TF-IDF é estatisticamente tão bom quanto os dois LLMs.

A tarefa

Cada avaliação vira uma linha de JSON:

{"categoria": "nao_recebido", "sentimento": "negativo", "urgencia": "alta"} 
Campo Valores
categoria (problema principal) atraso_entrega, nao_recebido, produto_errado_ou_incompleto, defeito_ou_qualidade, atendimento_vendedor, elogio_sem_problema, outro
sentimento (tom geral) positivo, neutro, negativo
urgencia (a empresa precisa agir?) alta, media, baixa

Um guia de rotulagem escrito define cada classe e as regras de desempate: se a avaliação cita vários problemas, vale o mais grave; urgência alta só quando o cliente pede uma ação.

A montagem

Os dados são o dataset público de e-commerce da Olist: 99.224 avaliações, 40.977 com comentário e 36.709 depois de remover duplicatas. Os textos são curtos (mediana de 62 caracteres), informais e cheios de erros de digitação.

Comparei três abordagens:

Abordagem O que é Treinada com
A. Baseline TF-IDF + regressão logística, um classificador por campo 5.000 rótulos silver
B. Professor Qwen3-8B em 4-bit, prompt de sistema + 6 exemplos (few-shot) nada
C. Aluno Qwen3-1.7B com QLoRA, só o prompt de sistema 5.000 rótulos silver

Pipeline: as avaliações da Olist se dividem em 300 gold rotuladas à mão e 5.000 sem rótulo; o professor rotula as 5.000, o baseline e o aluno treinam com esses rótulos, e os três são avaliados no teste gold

A decisão mais importante do projeto foi sobre os rótulos:

  • Gold: 300 avaliações que eu rotulei à mão, às cegas (só o texto, sem a nota em estrelas e sem a saída de nenhum modelo), divididas em 100 de dev e 200 de teste.
  • Silver: 5.000 outras avaliações rotuladas pelo professor.

O baseline e o aluno aprendem com os mesmos rótulos silver. Isso faz do aluno uma destilação do professor e garante que a comparação isola o modelo, não os dados. Os três são julgados contra os rótulos gold humanos, nunca contra o silver: medir o aluno no mesmo tipo de rótulo com que ele treinou e chamar isso de acurácia é o jeito mais fácil de se enganar.

Mais um detalhe: o gold e o silver têm a mesma quantidade de avaliações por nota. Nos dados brutos, 48% das avaliações são 5 estrelas, então as reclamações estão super-representadas de propósito. As métricas descrevem uma mistura balanceada, não o tráfego real de produção.

A disciplina de avaliação

É isto que separa um experimento de uma demo.

  • O conjunto de teste foi usado uma única vez, depois que todas as decisões (prompt, modelo, rodada de treino) estavam congeladas. Toda a iteração aconteceu nas 100 avaliações de dev.
  • Intervalos de confiança por bootstrap pareado. Com 200 avaliações de teste, cada avaliação vale 0,5 ponto de acurácia, e diferenças pequenas podem ser ruído. Reamostrei o teste 2.000 vezes (as mesmas avaliações para todas as abordagens) e calculei um IC de 95% para cada diferença.
  • Um único parser para as três abordagens, então "JSON válido" significa a mesma coisa em todas.
  • Checagens contra fatos que nenhum rotulador viu. A nota em estrelas e as datas reais de entrega ficaram escondidas de mim e dos modelos. Por isso servem como checagem independente, inclusive nas 5.000 avaliações silver, que não têm referência humana.

Resultados

Teste gold, n = 200. Acurácia / macro-F1:

Abordagem categoria sentimento urgencia JSON válido
A. Baseline TF-IDF 0,775 / 0,70 0,795 / 0,73 0,745 / 0,74 100%
B. Professor Qwen3-8B 0,870 / 0,78 0,840 / 0,77 0,820 / 0,81 100%
C. Aluno Qwen3-1.7B 0,855 / 0,77 0,800 / 0,69 0,825 / 0,82 100%

A tabela sozinha convida a tirar conclusões demais. Estas são as diferenças com IC de 95% (em negrito, quando o intervalo exclui o zero):

Diferença de acurácia (pontos) categoria sentimento urgencia
Professor − aluno +1,5 [−1,5; +4,5] +4,0 [+1,0; +7,5] −0,5 [−4,0; +3,0]
Professor − baseline +9,5 [+4,0; +15,0] +4,5 [−1,5; +10,5] +7,5 [+2,0; +13,0]
Aluno − baseline +8,0 [+3,0; +13,5] +0,5 [−4,5; +5,5] +8,0 [+3,0; +13,5]

O que isso diz:

  1. O aluno empata com o professor em categoria e urgência. A única perda clara é em sentimento.
  2. Os dois LLMs batem o TF-IDF por 7 a 10 pontos em categoria e urgência. São campos que exigem alguma compreensão do texto.
  3. Em sentimento, o TF-IDF é estatisticamente tão bom quanto qualquer um dos LLMs. Essa foi a surpresa. Mais capacidade de modelo rende pouco aqui, e a análise de erros abaixo mostra por quê: o gargalo é como neutro foi definido e rotulado, não o tamanho do modelo.

O aluno concorda com o professor em 93–94% das avaliações de teste em cada campo, e nenhuma saída deixou de virar JSON válido (zero falhas em 300 gold e 5.000 silver), sem geração restrita (constrained decoding).

Velocidade e custo

Professor 8B Aluno 1.7B
Hardware 1× T4, 4-bit 1× T4, 4-bit
Vazão em lote 0,71 avaliação/s 2,6 avaliações/s
Latência, 1 avaliação (p50) 3,82 s 3,09 s
Custo de GPU por 1.000 avaliações* US$ 0,137 US$ 0,037

* Só o tempo de GPU, ao preço sob demanda de US$ 0,35 por hora de T4 no Google Cloud. As execuções em si usaram a cota grátis do Kaggle. Custos únicos no mesmo preço: rotular as 5.000 avaliações silver com o professor, US$ 0,69; treinar o aluno (96 minutos), US$ 0,56.

Uma ressalva que eu não esperava: a latência de uma requisição isolada quase não muda (3,8 s → 3,1 s). Numa T4, uma resposta de uns 30 tokens é dominada pelo custo fixo de gerar cada token, não pelo tamanho do modelo. Parte do ganho em lote também vem do prompt mais curto: o ajuste fino substitui os exemplos few-shot do professor. O modelo pequeno compensa em processamento em lote, não em requisições uma a uma.

Onde os modelos erram

Li todas as avaliações de teste em que pelo menos um modelo errou algum campo (84 de 200). Alguns padrões apareceram várias vezes.

Atalhos de palavra-chave. Os modelos reagem a palavras, não ao sentido:

"Recebi antes do prqzo" (com o erro de digitação original)

Gold: elogio_sem_problema · Professor: atraso_entrega · Aluno: atraso_entrega

A palavra "prazo" puxa para atraso na entrega mesmo quando o pacote chegou antes. O aluno acertou uma avaliação parecida e caiu em outra: a destilação copia o viés do professor, não cada resposta individual.

neutro é a classe mais difícil. Das 40 avaliações neutras do teste, o professor acerta 16 e o aluno só 10. Confirmações simples como "Recebi corretamente." viram positivo; pedidos calmos como "Gostaria de um vale troca! Aguardando número de postagem." viram negativo. Seis das oito avaliações por trás da diferença de 4 pontos do aluno em sentimento estão aqui: ele aprendeu o viés do professor e o ampliou.

Essa fronteira é ambígua de verdade; dá para defender positivo para "chegou como prometido". É um problema do guia de rotulagem tanto quanto dos modelos, e é exatamente por isso que o TF-IDF acompanha os LLMs em sentimento.

A urgência sobe pelo tom. A regra diz alta só quando o cliente pede uma ação. Cerca de 20 das 68 avaliações de urgência media são previstas como alta por cada modelo. "Quase um mês de atraso na entrega" é grave, mas não pede nada. Numa fila de atendimento, o erro é para o lado seguro, mas a fila prevista de urgência alta fica uns 45% maior que a real.

O viés negativo aparece em escala. A checagem contra as estrelas confirma isso nas 5.000 avaliações silver, sem nenhum humano no processo: o professor rotula avaliações de 4–5 estrelas como negativo em 15% dos casos, contra 9% nos meus rótulos gold. No geral, o sentimento ainda acompanha bem as estrelas (média de 2,1 estrelas para negativo e 4,4 para positivo), então o silver é sólido no agregado, só inclinado.

O que não funcionou

  • Meu primeiro prompt era ruim em neutro. Acertou 1 de 8 avaliações neutras no dev (macro-F1 de 0,69 em sentimento). Reescrever a definição de neutro com frases concretas de exemplo levou a 0,82 no dev. O teste mostra que o problema só foi resolvido em parte.
  • Não testei um aluno menor. O plano era escolher entre dois tamanhos com um teste rápido no dev. Para poupar cota de GPU, fiquei com o Qwen3-1.7B sem testar o Qwen3-0.6B, que talvez fosse suficiente em categoria e urgência com um terço do tamanho.
  • Uma rodada de treino, sem busca de hiperparâmetros. Foi uma escolha consciente, mas significa que os números do aluno são um piso, não um teto.
  • A demo pública foi cortada. Planejei um Space grátis no Hugging Face, mas os Spaces com Gradio passaram a exigir plano pago. A demo roda localmente.
  • Um único rotulador. Uma segunda passada às cegas em 30 avaliações gold bateu com a primeira em todas as 30. Parece ótimo, mas foi feita no mesmo dia (a memória ajuda), com 30 avaliações o limite inferior de 95% fica em torno de 88%, e isso mede consistência, não acerto. Relendo, pelo menos um rótulo gold parece errado, e eu teria rotulado igual nas duas vezes. O teste de verdade seria um segundo rotulador independente.

Lições

  1. O teto do aluno é o professor. O aluno não consegue ser muito melhor que os rótulos com que aprende. Rótulos silver melhores (autoconsistência do professor, ou algumas centenas de rótulos humanos misturados) provavelmente ajudariam mais do que qualquer ajuste de hiperparâmetro.
  2. Definição de classe importa mais que tamanho de modelo. A maior lacuna do experimento inteiro (sentimento neutro) não se resolve com um modelo maior. Precisa de uma definição mais precisa e de rótulos melhores.
  3. Sempre rode o baseline sem graça. Sem o TF-IDF na tabela, eu teria concluído que "LLMs são melhores em sentimento" e estaria errado.
  4. Mostre intervalos, não só números pontuais. Quatro das nove diferenças da tabela de acurácia estão dentro do ruído. O bootstrap é barato e muda as conclusões.
  5. Modelos pequenos ganham em vazão, não em latência. Se a sua carga é uma requisição por vez numa T4, um modelo 4,7× menor economiza menos do que parece.

Links

Demo local em Gradio: uma avaliação entra e o aluno devolve categoria, sentimento e urgência em JSON

As avaliações e os rótulos derivados vêm do dataset da Olist (CC BY-NC-SA 4.0), então os rótulos gold e o adaptador são publicados para uso não comercial, com atribuição.