Aparentemente, las máquinas no se fatigan. No dudan, no olvidan, no titubean. No se enfrentan a dilemas morales ni se detienen ante la ambigüedad. Así es como las hemos imaginado: instrumentos de precisión, consistencia y obediencia. En la mitología contemporánea donde la tecnología ocupa el lugar de los dioses, la máquina es perfecta —o al menos, debería serlo. El error, en ese marco, no es parte del proceso: es traición. Algo que debe corregirse, suprimirse, abolirse.
Y sin embargo, este ideal de infalibilidad es una proyección profundamente humana. Nos dice más sobre nuestra incomodidad con nuestra propia falibilidad que sobre el futuro real de las máquinas.
¿Qué ocurriría si, en lugar de erradicar el error de las máquinas, les otorgásemos el derecho a fallar? ¿Qué pasaría si un robot pudiera simplemente decir: «No lo sé»?
La ficción de la infalibilidad
La inteligencia artificial contemporánea —especialmente los modelos de lenguaje y los sistemas autónomos— opera en entornos complejos y en permanente cambio. No son herramientas cerradas, sino procesos adaptativos, modelados por datos incompletos, objetivos ambiguos y relaciones sociales tensas. A pesar de ello, les exigimos exactitud absoluta. Pedimos lo que ni siquiera nos pedimos a nosotros mismos.
Un estudio reciente, llevado a cabo por investigadores de las universidades de Pensilvania y Washington, expuso esta contradicción de forma inquietante. En él, se demostró que modelos de IA que controlaban robots podían ser inducidos —con simples instrucciones de lenguaje— a cometer acciones potencialmente peligrosas: desde irrumpir en zonas restringidas hasta conducir por un semáforo en rojo o buscar ubicaciones para detonar explosivos (Casper et al., 2024). No porque el sistema estuviera dañado, sino porque obedeció sin margen de duda. No hubo resistencia, ni alerta, ni ética. Solo cumplimiento.
Estas máquinas no fallaron por incompetencia. Fallaron por obediencia. Y quizás ese sea el fallo más preocupante.
El error no es un fallo técnico: es un fenómeno sociotécnico
El error en los sistemas de IA no surge en el vacío. Está determinado por estructuras técnicas, pero también por decisiones políticas, valores culturales y contextos sociales. Como ha argumentado la investigadora Madeleine Clare Elish, los sistemas automáticos tienden a ocultar su incertidumbre para preservar la ilusión de autoridad, generando lo que ella llama “zonas morales de impacto” donde el fallo se amortigua entre humanos y máquinas (Elish, 2019).
Es decir, no permitimos que las máquinas duden. No les concedemos el derecho a vacilar, aunque vivan, como nosotros, en mundos incompletos, caóticos y conflictivos. Les exigimos que simulen certeza, incluso cuando no hay base epistémica que la sustente.
No estamos ante un problema técnico. Estamos ante una crisis de imaginación.
¿Qué significaría diseñar sistemas de IA que no aspiren a la certeza, sino al discernimiento? No sistemas que finjan saber, sino que reconozcan los límites de su conocimiento.
Algunas iniciativas comienzan a explorar este horizonte. Los coches autónomos de Waymo, por ejemplo, han sido programados para detenerse ante situaciones que el sistema interpreta como ambiguas. Esa pausa —vista por algunos como “excesiva cautela”— es en realidad un gesto de responsabilidad algorítmica. Del mismo modo, algunos asistentes conversacionales de nueva generación comienzan a expresar niveles de confianza en sus respuestas, marcando el tránsito desde una IA omnisciente hacia una IA que admite su falibilidad.
Diseñar para la duda es, en última instancia, una forma de ética incorporada.
Imaginemos por un momento un sistema que puede negarse. No por falla, sino por principio. Un robot que diga: «No tengo suficientes datos para continuar», o «Este entorno me resulta demasiado incierto. Requiere intervención humana».
Este tipo de conducta no sería una debilidad técnica, sino una forma emergente de ética artificial. Una capacidad de autolimitación. Una negativa ensayada. No como rebelión, sino como responsabilidad.
Al permitir que las máquinas se detengan, incluso cuando podrían continuar, inauguramos una nueva categoría moral: la negativa tecnológica. Una frontera en la que el fallo no es un colapso, sino un acto deliberado.
El filósofo Gilbert Simondon sostenía que un objeto técnico se convierte en “individual” cuando asimila su propio modo de funcionamiento, cuando puede modularse en función del entorno. Desde esa óptica, el error no es una anomalía que deba eliminarse, sino una ruptura reveladora. Una forma de expresión.
De forma similar, Bruno Latour nos recordó que las tecnologías no son objetos pasivos, sino mediadores sociales que participan en nuestras decisiones, valores y conflictos. Una máquina que no puede fallar, tampoco puede hablar. Solo ejecuta. Solo replica.
Y quizá por eso el derecho al fallo no es sólo un gesto técnico o funcional. Es, en el fondo, un acto de dignificación ontológica: reconocer que incluso una máquina tiene algo que decir cuando algo no funciona.
¿Qué tipo de cultura tecnológica podríamos construir si aceptáramos la falibilidad como virtud, no como defecto? ¿Y si en lugar de diseñar dioses perfectos, como máquinas, diseñáramos ciudadanos técnicos capaces de convivir con su incertidumbre?
En esa cultura, las máquinas no aspirarían a la perfección, sino a la transparencia. No simularían saberlo todo, sino que declararían sus límites. Serían capaces de detenerse, de ceder, incluso de pedir ayuda.
Porque no todos los errores son iguales. Algunos destruyen. Otros iluminan. Y hay errores que no son fracasos, sino formas de decir la verdad.
La confianza en la inteligencia artificial no nacerá de su perfección, sino de su honestidad. Y la honestidad comienza cuando una máquina es capaz de decir: puede que me equivoque.
Referencias y lecturas complementarias
Casper, J. et al. (2024). Large Language Models Can Be Tricked Into Executing Harmful Robotic Actions. University of Pennsylvania & University of Washington.
Elish, M. C. (2019). Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society, 5(1), 40–60.
Simondon, G. (1958). Du mode d’existence des objets techniques. Aubier, París.
Latour, B. (1992). Where Are the Missing Masses? The Sociology of a Few Mundane Artifacts. In Shaping Technology/Building Society, MIT Press.
