Cuando una automatización con IA no anda bien, la reacción casi automática es "hay que usar un modelo más grande". Mi experiencia es al revés. Con un modelo caro casi cualquier automatización anda, y con uno barato también, si hacés la ingeniería. Lo puedo mostrar con un experimento propio de esta semana.

El problema: que un modelo chiquito juzgue calidad de video. Mi herramienta corta videos largos en clips verticales y tiene que elegir qué ventana se ve mejor. Se lo pedí a SmolVLM2-256M, un modelo de 256 millones de parámetros. Para saber si juzga bien lo comparé con gente real: KoNViD-1k, un dataset público con puntajes humanos. Usé 60 videos que el modelo nunca vio y 601 pares con diferencia clara de calidad.

El resultado: de peor que el azar a 91%.

  • El modelo sin tocar acierta 20% de los pares. Estaba anti-correlacionado con el gusto humano.
  • La mejor regla manual sin IA (la ventana más luminosa) acierta 75%. Contraste 52%, nitidez 71%.
  • El mismo modelo con un parche de 1152 parámetros (0,00045% de sus pesos, calculado sin entrenar) acierta 91%. La diferencia contra la mejor regla es significativa (IC 95% entre +0,12 y +0,20). La correlación con el gusto humano pasó de -0,37 a +0,66.

Lo que hice, que es ingeniería y no modelo:

  1. Medí primero contra juicio humano, con el protocolo fijado antes de tocar el test.
  2. Calibré con regresión ridge solo con datos de calibración, elegí la intensidad en validación y evalué en test una vez por versión (la primera falló y quedó registrada).
  3. Edité 2 filas de la capa de salida y verifiqué que hace lo que digo: error menor a 0,000006 contra el cálculo externo, y un frame negro sigue recibiendo "No".

Qué cambia cuando automatizás algo:

  • El modelo es reemplazable, la forma de medir no.
  • Iterá en validación, no en test.
  • Un modelo chico bien dirigido le gana a reglas manuales y corre en capas gratuitas. No hace falta la API más cara, hace falta medir en serio.

Soy Francisco Perez, ingeniero en sistemas (UTN, Tucumán). Construyo agentes de IA y automatizaciones para empresas. Portfolio y contacto: franprz.vercel.app