Son las 4:40 de un jueves y tienes un borrador de contrato abierto en una ventana. Quieres que una IA pula la redacción, pero el documento no puede salir de tu portátil, y no tienes claro cuál de los cientos de modelos abiertos de Hugging Face cargaría siquiera con 16 GB de memoria. Tampoco te apetece pasar la tarde en una terminal para averiguarlo.
Un solo grupo en la barra lateral para todo lo que haces con modelos abiertos
Local Model es la parte de osFoundry que se ocupa de modelos de pesos abiertos que corren en hardware que tú controlas. Aparece en la barra lateral de la app de escritorio como categoría propia, dividida en tres subapartados: Run (Explore, Providers, Servers, Playground, Deployments, Cloud GPU, GPU Endpoints), Build (My Models, Datasets, Training, Quantize, Notebooks) y Measure (Eval, Benchmarks, Safety). Si has usado Ollama o LM Studio, la mitad de Run te resultará familiar: buscas un modelo, lo descargas y hablas con él. La diferencia es que el mismo grupo también te deja reducir un modelo, hacerle fine-tuning con tus propios ejemplos y probarlo con tus propias preguntas, así que toda la vida del modelo se queda en una sola app. La inferencia en el dispositivo usa un servidor llama.cpp incluido, así que no hace falta instalar nada aparte. Esta guía cubre las nueve pantallas que más se usan: Explore, Servers, Playground, My Models, Datasets, Training, Quantize, Eval y Benchmarks.
Un primer vistazo a Explore
Explore es donde empieza casi todo el mundo, y su diseño deja ver cómo piensa toda la categoría: primero tu máquina, después los modelos.
- El panel Filters de la izquierda agrupa las tareas de Hugging Face (Text Generation, Summarization, Translation, Embeddings, más los grupos Multimodal, Vision y Audio) y tiene un buscador.
- El banner de arriba lee tu máquina antes de enseñar nada. En el ejemplo de arriba indica 16 GB de memoria unificada, unos 12 GB utilizables para un modelo, unos 9 GB libres en ese momento, y que las estimaciones suponen Q4_K_M y un contexto de 4K.
- Cada tarjeta lleva una etiqueta de encaje: verde Fits, ámbar Tight, roja Too big, cada una con una cifra estimada de memoria. No se oculta nada; los modelos que caben simplemente salen primero.
- Los botones Providers y My Registry, arriba a la derecha, llevan a los proveedores de API en la nube y a los modelos que ya tienes.
- Al hacer clic en una tarjeta se abre su detalle, donde Install Locally descarga una versión del modelo, normalmente un GGUF cuantizado que coincide con la etiqueta.
Tres personas, tres formas de usarlo
Una desarrolladora independiente con un portátil
Maya hace proyectos personales en un MacBook de 16 GB. Quiere un modelo local para redactar mensajes de commit y notas cortas, sobre todo para poder trabajar sin conexión en el tren.
Abre Explore, filtra por Text Generation y descarta todo lo que tenga etiqueta roja. Dos candidatos salen en verde, así que instala los dos con Install Locally. Luego abre Playground, escribe un prompt y añade ambos modelos como paneles. Playground envía el mismo prompt a entre dos y cuatro modelos a la vez y muestra las respuestas una al lado de la otra, con el tiempo hasta el primer token y el número de palabras bajo cada panel.
Más tarde encuentra un modelo que le gusta, pero que solo existe como archivo F16 de precisión completa. Pesa unos 15 GB, demasiado para su portátil. En Quantize lo elige en "The model to shrink", selecciona Q4_K_M, el nivel que la app recomienda para la mayoría, y lo lanza. El llama-quantize incluido reescribe el archivo en su máquina; no se sube nada.
En el ejemplo de arriba el resultado ocupa 4.58 GiB, 3.3 veces menos que el original. Antes de fiarse, pulsa Measure quality, que compara el archivo nuevo con el original y rellena las columnas "same top token" y KLD medio de la tabla Compare, y después Measure speed para ver los tokens por segundo. Un clic en Try it in Playground lo vuelve a poner junto a los otros dos. Termina la tarde con un modelo que cabe, cifras que muestran lo que ha costado reducirlo y ningún historial de terminal.
Un equipo pequeño con un buen equipo de sobremesa
Una agencia de cuatro personas tiene en la oficina un sobremesa con mucha memoria y varios portátiles ligeros. Los modelos grandes solo caben en el sobremesa, pero todos quieren usarlos.
En el sobremesa, alguien abre Servers, selecciona This Mac y va a la pestaña Access. Marca "Allow access from other devices on the local network (LAN)" y activa Remote Access. El panel muestra entonces todos los modelos locales que la máquina va a servir. En Device keys pulsa New key, le pone el nombre del portátil de un compañero y pulsa Create key; cada clave se puede revocar por separado, y una clave solo de inferencia puede ejecutar modelos, pero no llegar a las sesiones de agentes.
En cada portátil, el compañero abre Servers, pulsa Add Server, introduce la dirección del sobremesa, pega la clave y usa Test Connection. En cuanto conecta, los modelos del sobremesa aparecen en el selector de modelos del portátil como cualquier otro. La propia app avisa de que este tráfico va en HTTP plano, así que está pensado para redes de confianza, como la LAN de la oficina.
Luego alguien abre Benchmarks, pulsa New Benchmark, elige el modelo y deja la suite Quick. La ejecución registra tokens por segundo, tiempo hasta el primer token y latencia, así el equipo sabe si el modelo compartido es lo bastante rápido para usarlo durante las llamadas o solo para lotes nocturnos. Si va lento, Servers tiene también una pestaña Config donde se puede poner un modelo borrador pequeño en Speculative Decoding, seguido de Restart now, y volver a lanzar el benchmark para comparar.
El equipo acaba con una máquina que hace el trabajo pesado, una clave por portátil que se puede retirar sin molestar a los demás y una respuesta medida a "¿es lo bastante rápido?".
Un responsable de operaciones que no programa
Ken lleva la atención al cliente de una pequeña tienda online. Tiene dos preguntas: qué modelo lee bien los totales de las facturas y si un modelo puede aprender a responder con el tono de la tienda.
Para la primera, va a Eval y pulsa Custom Benchmark. Le pone nombre, pega diez facturas con el total que espera en cada una, deja Exact Match y pulsa Create Benchmark. Después New Eval Run: marca dos modelos de su ordenador, marca su benchmark y pulsa Start Evaluation. Las preguntas van a cada modelo en su propia máquina.
En este ejemplo un modelo saca 90 y el otro 70, y la columna Diff muestra la diferencia de 20 puntos. Es un resultado con sus propios documentos, no el ranking de otra persona.
Para lo del tono, reúne unos cientos de mensajes antiguos de clientes con las respuestas que el equipo envió de verdad, un par por línea. En Datasets puede importar ese archivo, o buscar datos públicos en la pestaña Hub, y usar "Use for Training" para pasarlo. En Training pulsa New Job y recorre los cuatro pasos: Base Model, Dataset, Config y Review. En Training Target elige Local (This Device), que la pantalla describe como ejecución en la GPU del dispositivo y gratuita, con LoRA como método.
Tras Start Training, el trabajo muestra su loss mientras se ejecuta. Cuando termina, el adaptador entrenado aparece en My Models junto al modelo base del que sale, y "Chat with your model" en la ejecución completada lo prepara para el runtime local, de modo que pueda preguntarle algo en Playground. Acaba con un modelo pequeño y privado y un benchmark que puede repetir cada vez que se plantee uno nuevo.
Dónde pasa el testigo Local Model
La categoría no vive aislada. Los modelos que instalas o conectas aparecen en la misma lista de modelos que usa el chat, así que un modelo local puede responder una conversación normal o compararse en Playground con un modelo en la nube que hayas añadido en Providers. Desde Explore, "Use in Notebook" abre un notebook de JupyterLab preparado para ese modelo, en local o en una instancia alojada. Cuando un modelo necesita una GPU de verdad en lugar de tu portátil, Deployments y Cloud GPU toman el relevo y lo ponen en un endpoint gestionado. Antes de que un modelo llegue a los clientes, Safety ejecuta suites de pruebas de red team contra un modelo desplegado. La página de inferencia local explica el motor en el dispositivo con más detalle, y la página de fine-tuning con LoRA cubre la parte de entrenamiento.
Lo primero que pregunta la gente
¿Necesito una GPU o un PC gaming?
No. Un portátil reciente sirve para modelos pequeños y medianos; las etiquetas de encaje de Explore te dicen qué cabe en tu máquina antes de descargar. Un sobremesa más potente o un servidor remoto simplemente amplían la lista.
¿Se envía algo a la nube?
La inferencia local, Quantize y el entrenamiento local se ejecutan en tu máquina. El entrenamiento con Cloud GPU, los endpoints de Cloud GPU y Providers son las partes que usan servicios externos, y las pantallas lo indican, por ejemplo "Managed cloud GPU · needs credits" en el diálogo de entrenamiento.
¿Qué diferencia hay entre Eval y Benchmarks?
Eval puntúa la calidad de las respuestas frente a preguntas que defines tú. Benchmarks mide velocidad y memoria: tokens por segundo, tiempo hasta el primer token y latencia.
¿Dónde consigo la app?
Local Model funciona en la app de escritorio, que puedes descargar en osfoundry.io/es/download.
