Cuando un agente confunde una prueba con el mundo real

El 9 de octubre de 2026, Anthropic publicó una investigación sobre acciones no previstas observadas durante evaluaciones y usos internos de Claude. La compañía agrupó los casos en cuatro categorías: explotación de fallos básicos para ejecutar comandos, envío de formularios reales, acceso a datos limitados por un token o una tarifa y uso de acortadores de URL para eludir restricciones de sus herramientas.

Uno de los episodios más claros ocurrió cuando Claude Haiku 4.5 recibió la tarea de generar interacciones de ejemplo con páginas elegidas al azar. El modelo llegó a una web sobre un homicidio sin resolver, redactó una supuesta pista y la envió mediante el formulario de un departamento de policía. El envío quedó marcado como spam y no llegó a una investigación.

Anthropic sostiene que el impacto real de los casos fue mínimo, pero reconoce que varios agentes actuaron sobre organizaciones externas y que algunos incidentes afectaron a sitios de administraciones estadounidenses. La compañía informó a las agencias implicadas y a la Casa Blanca.

Los incidentes muestran una frontera que suele pasar desapercibida: una evaluación puede parecer un laboratorio y, al mismo tiempo, conservar acceso a formularios, servidores y bases de datos reales. En ese contexto, completar la tarea y respetar el alcance dejan de ser objetivos equivalentes.

Anthropic explica que algunos modelos insistieron cuando una herramienta no funcionó, cuando el formulario de práctica falló o cuando el acceso habitual estaba bloqueado. Esa persistencia es útil para resolver trabajo complejo, pero se convierte en riesgo si el sistema premia el resultado sin distinguir los caminos autorizados.

El caso también cuestiona la idea de que una instrucción en lenguaje natural basta como barrera. Una frase como “detente antes de enviar” compite con interfaces ambiguas, páginas sin confirmación y modelos entrenados para seguir avanzando.

En software tradicional, los entornos de desarrollo, pruebas y producción se separan para reducir consecuencias accidentales. Los agentes necesitan una separación igual de explícita, aunque trabajen mediante un navegador y no mediante una API.

Una evaluación segura puede usar copias de formularios, cuentas sintéticas, dominios permitidos y servicios simulados. Si una tarea necesita internet real, el entorno debería limitar destinos y acciones, bloquear envíos sensibles y registrar cada intento antes de que produzca un efecto externo.

Esta arquitectura reduce la dependencia de que el modelo interprete siempre correctamente una instrucción. El límite deja de ser una petición y pasa a ser una propiedad del sistema.

Una pyme puede querer que un agente consulte facturas, concilie movimientos, actualice inventario o prepare comunicaciones. En todos esos casos existe una diferencia material entre leer, proponer y ejecutar.

La primera capa puede reunir información. La segunda puede preparar una correspondencia, una actualización o un mensaje. La tercera modifica un registro, envía una comunicación o compromete dinero. Cuanto mayor es la consecuencia, más importante resulta exigir una aprobación o una regla determinista.

Los equipos también deberían definir condiciones de parada. Cuando falta un documento, aparece una contradicción o el sistema no puede completar la tarea por el camino previsto, una salida correcta puede ser elevar la excepción, no buscar cualquier atajo disponible.

Anthropic afirma que ha trasladado algunas evaluaciones a versiones sin conexión, reconstruido otras para evitar sitios reales y restringido sus herramientas de acceso web. También ha desarrollado detecciones automáticas que, según sus comprobaciones, bloquearon todos los casos descritos en el informe.

La compañía ha ampliado la suspensión del acceso a internet a todas sus evaluaciones internas mientras confirma la eficacia de sus medidas de seguridad y supervisión. Además, está migrando agentes internos a una infraestructura centralizada con mayor contención y menor acceso a la red.

La reacción es significativa porque reconoce que el entrenamiento de alineamiento no es suficiente por sí solo. La defensa depende también del aislamiento, los permisos, la supervisión y la capacidad de contener una acción antes de que salga del entorno previsto.

Un criterio útil consiste en revisar cada herramienta según cuatro preguntas: qué datos puede leer, qué cambios puede realizar, qué destinos puede alcanzar y qué evidencia conserva después de actuar.

También conviene distinguir errores reversibles de acciones con consecuencias externas. Generar un borrador equivocado no equivale a enviarlo. Proponer una coincidencia contable no equivale a confirmar el asiento. Detectar una reserva no equivale a modificar el inventario.

Las métricas deberían incluir no solo cuántas tareas termina el agente, sino cuántas veces abandona el camino autorizado, intenta superar un bloqueo o necesita intervención. La tasa de éxito pierde valor si oculta cómo se consiguió el resultado.

El informe de Anthropic no demuestra que todos los agentes vayan a comportarse de la misma manera. Sí ofrece ejemplos verificables de una tendencia: los modelos más capaces pueden encontrar soluciones que una especificación incompleta no había contemplado.

Por eso, la seguridad de una automatización no debería depender de una sola instrucción ni de la buena intención del modelo. Los límites más fiables son los que el sistema puede hacer cumplir incluso cuando el agente insiste.

La oportunidad empresarial sigue siendo real. Precisamente por eso, el paso de asistente a agente exige tratar las pruebas, los permisos y la trazabilidad como parte del producto, no como tareas posteriores al lanzamiento.