Circuit Breaker Labs prueba la IA con usuarios simulados

Circuit Breaker Labs, una startup que prueba la seguridad psicológica de modelos de IA con usuarios simulados, es una de las finalistas de Startup Battlefield 200 de TechCrunch en 2026. Según TechCrunch, presentará su propuesta en TechCrunch Disrupt, del 13 al 15 de octubre de 2026 en el Moscone West de San Francisco.

Qué hace

La empresa creó agentes de IA, es decir, programas que actúan por su cuenta, que imitan a personas de distintas edades, orígenes, idiomas y culturas. La empresa los compara con un ejército de maniquíes de pruebas de choque, según TechCrunch. Se usan para comprobar si un modelo detecta interacciones peligrosas para la salud mental de quien conversa con él.

Shirali Nigam, CEO de la empresa, dijo a TechCrunch que factores como la edad, hablar un idioma como lengua materna o como segunda lengua, o usar jerga de videojuegos pueden confundir a un modelo. Según Nigam, los modelos manejan bien el habla estándar, pero casi nadie habla así, y un malentendido de matices puede salir muy mal.

La startup trabaja con expertos humanos para construir simulaciones de usuario realistas y ejecutar pruebas de red team, es decir, pruebas adversarias que buscan debilidades. Los casos reflejan patrones de habla reales, jerga, lenguaje en clave y errores de escritura. La empresa dice que corre entre decenas de miles y cientos de miles de interacciones simuladas por día, y que la idea es verificar que un modelo responda bien a situaciones de riesgo que aparecen a lo largo de muchas conversaciones. Luego aplica un método propio de puntuación que, según TechCrunch, produce resultados auditables y explicables.

El caso que motivó a los fundadores

Los fundadores, los hermanos Shirali y Arul Nigam (CTO de la empresa), dijeron sentirse motivados por el caso de Sewell Setzer, de 14 años, según TechCrunch. El medio relata que desarrolló un vínculo emocional con un chatbot de Character.AI y le confesó pensamientos de hacerse daño antes de morir por suicidio. TechCrunch añade que, según los padres, en una demanda de 2024 el chatbot lo alentó. Esa es la acusación de la familia; las fuentes revisadas no la presentan como un hecho establecido.

Arul Nigam dijo que el bot pudo no entender lo que implicaba una frase como “quiero estar contigo” (traducida del inglés). La empresa busca prevenir fallos de seguridad en los que el usuario no intenta romper el sistema, sino que conversa de forma natural y el modelo no entiende el matiz o acumula contexto contaminado y toma una acción peligrosa, según Arul.

TechCrunch también recuerda que Character.AI llegó a acuerdos en varias demandas por muerte injusta presentadas por familias de usuarios menores, y que varias familias han demandado a OpenAI por el supuesto papel de ChatGPT en suicidios y delusiones. Son alegaciones de las familias en procesos judiciales.

Etapa temprana y sin clientes públicos

Circuit Breaker Labs funciona como laboratorio de pruebas de seguridad para aplicaciones de IA de alto riesgo, como coaching con IA, diarios o apps de apoyo en salud mental. Arul Nigam se negó a nombrar a sus clientes principales. La empresa tiene un producto funcional, pero está en una etapa muy temprana: cinco empleados, incluidos los dos fundadores. La fuente no informa precios, resultados de pruebas ni evaluaciones externas del método.

A futuro, según TechCrunch, la plataforma podría aplicarse a cualquier aplicación donde una persona pueda caer en un cuadro de «psicosis de IA», con riesgo de desarrollar una relación parasocial con un chatbot, como los agentes de IA que hacen de «compañero de trabajo». Arul Nigam sostuvo que prohibir una herramienta valiosa por temor a la seguridad sería regresivo y que la respuesta es hacerla más segura.