Publiquei um pacote grátis que dá nota de 0 a 100 na entrega de um agente antes de você aceitar o trabalho. Depois medi quem realmente usa.

Números do registro do próprio pacote, janela de 30 dias até 22/11/2026:

  • 514 downloads do pacote Python no PyPI (medido em 19/11/2026)
  • 49 instalações registraram algum evento
  • 6 dessas instalaram e rodaram o teste pelo menos uma vez
  • 32 execuções registradas
  • 81 erros reportados nessas execuções
  • nota média devolvida: 93,9

O número interessante não é o 93,9. É o 6 de 49.

88% das pessoas instalaram e nunca rodaram. Instalar é um comando. Rodar exige ter um projeto com problema na frente e aceitar ouvir que ele está reprovado.

O mercado correu para o mesmo lugar

Puxei o trending do GitHub no dia 22/11/2026. A lista de Python no último mês:

  • anthropics/skills, repositório público de skills de agente: 16.259 estrelas
  • NVIDIA/SkillSpector, scanner de segurança de skill: 6.447 estrelas
  • anthropics/knowledge-work-plugins: 5.670 estrelas
  • mvanhorn/last30days-skill: 7.125 estrelas

Duas leituras. Primeira: o ecossistema de skill saiu de nicho e virou categoria em semanas. Segunda, e mais útil para quem vende: depois das skills oficiais, o repositório que mais cresceu é um scanner de segurança de skill. Não é uma skill nova. É uma ferramenta que audita skill.

Ou seja, a dor real de quem instala não é instalar. É saber se o que instalou presta antes de confiar.

Por que o agente passa no próprio teste

O modo de falha mais comum que vi em projeto alheio e no meu: o agente roda os testes, eles passam, ele escreve "funcionou". O problema é que ele avaliou a intenção dele, não o efeito do código.

A correção não é pedir mais cuidado. É tirar a avaliação da mão de quem construiu.

Um gate que funciona tem quatro peças:

  1. Um crítico separado de quem escreveu o código, que só olha saída de comando.
  2. Um limite numérico explícito. Exemplo: 85 de 100. Abaixo disso, a entrega não passa, mesmo que "pareça pronta".
  3. Evidência gravada por rodada, em arquivo, com os gaps nomeados. Sem isso você não consegue discutir o resultado depois.
  4. Reprovação por padrão. Se o check não rodou, o resultado é falha, não aprovação silenciosa.

O item 4 é o que separa gate de decoração. Gate que nunca falha não é gate, é enfeite caro no CI.

O caso que uso como teste

Peguei um projeto com dois problemas plantados de propósito: uma senha escrita dentro do código e uma suíte que só cobre 41% do que o programa faz. Rodei o gate:

FAIL secret-scan w=60.0 0.0s token FAIL cobertura w=40.0 0.0s cobertura 41pct SCORE=0.0 THRESHOLD=85.0 GATE=failed (round 1/8) 

Nota 0 de 100. Era o esperado. O projeto tinha senha no código e cobertura de 41%: os dois checks de maior peso reprovaram.

O que interessa ali é o GAPS, que sai nomeado:

GAPS=["secret-scan: output matched failure pattern ... 'sk-abc123'", "cobertura: output matched failure pattern /41pct/: '41pct'"] 

Sem esse campo, o resultado vira opinião. Com ele, é uma lista de coisas a corrigir, cada uma com o trecho que disparou.

Três checks que pagam o dia

Se você só for colocar três coisas no seu gate, comece por estas, nessa ordem de peso:

  • Vazamento de segredo (gitleaks ou equivalente). Peso alto, quase sempre zero segundo. Um token commitado é dano permanente, não bug.
  • Cobertura mínima declarada. Não para perseguir número alto, mas para pegar o caso de "testes existem e não testam nada".
  • Build e import reais. build do projeto e um import do app de verdade. Teste que passa em módulo que não importa não prova nada.

O resto (lint, tipos, e2e) entra depois, com peso menor. A ordem importa mais que a quantidade: gate com dez checks irrelevantes reprova por motivo errado e você para de olhar o resultado.

O trabalho chato não é o motor

O motor é aberto. Roda com um comando no seu projeto:

npx ai-test-loop@latest --repo . 

O que dá trabalho é o arquivo de configuração: quais checks, com que peso, com que timeout, o que conta como falha. Cinco stacks diferentes disso é uma tarde por stack, e cada config só está calibrado depois de rodar de verdade, inclusive reprovando projeto saudável por engano.

Foi isso que eu empacotei: cinco configs prontos (Python lib, Python FastAPI, Vite + React, Next.js, Docker Compose), cada um com os pesos e o timeout já medidos.

O motor continua grátis e aberto em https://github.com/Samuelfmedeiros/ai-test-loop. Se escrever o loop.json não te incomoda, usa o grátis e ignora o resto.

O que essa nota não prova

Nota 85 não quer dizer produto bom. Quer dizer que os checks que você escolheu passaram, com evidência gravada. Se você escolher checks ruins, você tem um gate rápido para lugar nenhum.

A escolha dos checks é a decisão de engenharia. O gate só garante que você não está decidindo no escuro.