ServiceNow genera datos sintéticos para entrenar agentes

ServiceNow CoreAI presentó AutoSynthData en un artículo publicado en el blog de Hugging Face el 2 de octubre de 2026. Es un pipeline que genera datos sintéticos (creados por modelos, no recopilados de usuarios) para entrenar agentes, es decir, programas de IA que ejecutan tareas por su cuenta usando herramientas, adaptados al entorno de una empresa concreta.

El problema que dicen resolver

Según el artículo, un modelo puede ser capaz en general y aun así fallar en un flujo de trabajo, usar mal una combinación de herramientas o ignorar una restricción de un entorno corporativo. Convertir esos fallos en datos de entrenamiento exige muchas tareas nuevas que sean posibles de completar, parecidas a trabajo real y con una forma fiable de comprobar si el agente tuvo éxito.

Cómo funciona

ServiceNow define cada tarea con tres piezas: una especificación del sistema (reglas y estado inicial del entorno), la instrucción del usuario y un verificador, que es el código que decide si el resultado final es correcto.

El proceso empieza evaluando al modelo objetivo con tareas de diagnóstico. Un modelo «maestro» más fuerte (teacher) resuelve las mismas tareas. Al comparar ambas ejecuciones, el equipo redacta «tarjetas de especificación de capacidad». El generador solo recibe esas tarjetas: no ve los prompts, entidades, trayectorias ni verificadores originales de la evaluación, según el blog.

La generación va en dos fases. En la primera, «target», se crea un conjunto núcleo de tareas. En la segunda, «multiply», se producen variantes de las tareas aceptadas. ServiceNow indica que una variante no puede originar otras, para limitar la deriva entre generaciones.

Cada candidata pasa por controles antes de entrar al entrenamiento:

• Dificultad: en la configuración usada, favorecen tareas que el modelo objetivo resuelve en una de tres pruebas como máximo y que el solver más fuerte resuelve en al menos dos de tres.
• Verificación positiva: la solución de referencia debe resolver la tarea en el entorno.
• Verificación negativa: si se altera el resultado esperado, el verificador debe rechazarlo.
• Crítica y reparación: un modelo crítico diagnostica los fallos y repara la tarea, con un límite de reintentos.

Además, una revisión por lote vigila que no haya familias de tareas sobrerrepresentadas ni capacidades sin cubrir. Con las demostraciones del maestro se afina el modelo objetivo mediante ajuste fino supervisado (SFT), y luego se vuelve a evaluar para decidir la siguiente ronda.

Resultados que reporta ServiceNow

Las pruebas usan EnterpriseOps Gym, un banco de pruebas de entornos empresariales que el blog enlaza. Su artículo en arXiv, del 13 de marzo de 2026, lo describe con 164 tablas de base de datos, 512 herramientas y 1.150 tareas en ocho verticales; en esa evaluación de 14 modelos, el mejor (Claude Opus 4.5) logró 37,4 % de éxito.

• Hybrid. Con Gemma-4-26B-A4B-it como modelo objetivo y Qwen3.8-27B como maestro, AutoSynthData generó 2.000 muestras en unas 18 horas. El mejor punto de control (época 5) subió el Pass@1 medio 7,2 puntos porcentuales (una mejora relativa de 35 %) y el éxito del verificador de 63,01 % a 68,55 %. ServiceNow afirma que cierra 59 % de la brecha de Pass@1 entre Gemma y el modelo de referencia.
• ITSM. Con el mismo modelo objetivo y DeepSeek-V4.1-Flash como maestro, generó 1.994 muestras en 66 horas. El Pass@1 medio pasó de 18,77 % a 27,18 %. La empresa atribuye el mayor tiempo a un maestro más grande y a que la corrida fue anterior a optimizaciones de rendimiento.

Qué hay que tomar con cautela

Análisis de PrimixIA: las cifras las publica la propia empresa, se miden en el mismo banco de pruebas donde se generaron los datos y usan un solo modelo objetivo. ServiceNow subraya que el generador no recibió las tareas de evaluación, y que la mejora corresponde al entorno usado en cada experimento. El texto no menciona evaluación independiente, costo de cómputo, licencia ni publicación del código del pipeline.