Entre 1999 y 2015, más de 900 empleados de Correos del Reino Unido fueron procesados por robar dinero de las oficinas de Correos locales que tenían encomendadas. El principal testigo contra ellos era una aplicación informática llamada Horizon, desarrollada por Fujitsu e introducida por la Oficina de Correos británica en 1999.
A finales de los años 90, Correos introdujo un nuevo sistema informático llamado Horizon, desarrollado por la japonesa Fujitsu, para sustituir a los métodos tradicionales de contabilidad en papel. Sin embargo, este sistema pronto demostró ser profundamente defectuoso, mostrando regularmente discrepancias financieras y mostrando que dinero, a menudo por valor de miles de libras, había desaparecido misteriosamente de las cuentas de Correos. En realidad, todo esto tenía que ver con un intento del Gobierno británico de salvar su industria informática local (ICL, ver comentario de raffraffraff).
A pesar de los intentos de los subcarteros por conciliar los errores, Correos adoptó una postura implacable. A lo largo de dos décadas, de 1999 a 2015, la organización gubernamental emprendió acciones legales contra miles de empleados afectados. De ellos, la friolera de 700 fueron condenados por delitos penales, algunos incluso a penas de prisión.
El impacto en las vidas de estas personas inocentes y sus familias fue devastador. Se destruyeron sus medios de subsistencia, se manchó su reputación y se esfumaron sus ahorros. Algunos empleados de Correos, incapaces de soportar la vergüenza y la angustia, se quitaron trágicamente la vida.
La historia de Jo Hamilton, directora de una oficina de correos del sur de Inglaterra, ejemplifica las angustiosas experiencias de estas víctimas. En 2003, su sistema informático Horizon arrojó un déficit de 2.000 libras, que rápidamente se duplicó hasta alcanzar las 36.000 libras cuando Correos la llevó a los tribunales en 2007, acusándola de robo y falsedad contable. Ante la abrumadora presión, Hamilton no tuvo más remedio que declararse culpable de falsedad contable, a pesar de que los cargos eran infundados.
Este escándalo ha sido objeto de numerosas batallas legales y cobertura mediática durante años, pero no ha sido hasta hace poco, con la emisión de un drama televisivo que ponía de relieve el brutal coste humano, cuando la conciencia pública y la indignación han alcanzado un punto álgido. El gobierno británico ha reconocido que se trata de uno de los errores judiciales más graves de la historia del país, que ha dejado un impacto profundo y duradero en todos los afectados. En realidad, ¡el fallo de Fujitsu se conocía desde 1999!
Sin embargo, la clase política y jurídica del Reino Unido sigue enfrentándose a preguntas cruciales que exigen respuestas. ¿Quién estaba al tanto de los problemas sistémicos del sistema informático Horizon y cuándo se dieron cuenta? ¿Qué personas, en su caso, deben ser consideradas penalmente responsables de la devastación infligida a estos inocentes carteros y a sus familias? ¿Y hasta qué punto Fujitsu, el gigante tecnológico japonés valorado en 30.000 millones de dólares que desarrolló el defectuoso sistema Horizon, debería ser considerado responsable y obligado a indemnizar a las víctimas?
Correos ha reconocido la gravedad de la situación, afirmando que ya ha pagado más de 138 millones de libras (176 millones de euros) en indemnizaciones a los empleados afectados.
Y ahora viene la cuestión: este software no tenía ninguna línea de código de inteligencia artificial. ¿Qué pasaría cuando la tuvieran? Me parecen interesantes las palabras del bloguero Ben Evans:
Fujitsu no estaba construyendo aprendizaje automático o LLMs - se trataba de tecnología de los años setenta.
Esto fue un fallo institucional dentro de Fujitsu y dentro de la Oficina de Correos, y en un sistema judicial que no probó las pruebas adecuadamente. Y, para ser claros, el fallo no fue que hubiera errores, sino negarse a reconocer los errores. En cualquier caso, para usar el lenguaje que la gente usa ahora para preocuparse por la IA: un ordenador, que ejecutaba un software indeterminado que era difícil de diagnosticar o entender, tomó "decisiones" que arruinaron la vida de la gente: "decidió" que faltaba dinero. El personal de Correos se limitaba a aceptar esas decisiones.
El auge de la inteligencia artificial avanzada, en particular de la IA generativa, ha transformado el ritmo al que pueden completarse diversos procesos. La misma velocidad que hace que la IA generativa sea tan potente también puede significar que las consecuencias negativas se manifiesten mucho más rápido. En el caso del escándalo de la Oficina de Correos del Reino Unido, era de esperar que los fiscales británicos empezaran a preguntarse por qué estaban procesando a un nuevo cartero cada semana, incluso antes de la implantación del sistema informático Horizon.
La necesidad de participación humana está disminuyendo rápidamente para algunas aplicaciones de IA, pero muchos preocupados por la velocidad de la IA están empezando a suscitar cierto rechazo a esta falta de participación. Cada vez está más extendida la proliferación de aplicaciones y sistemas automatizados que parecen diseñados principalmente en beneficio del propio sistema, en lugar de los usuarios. En estos casos, la autonomía y el control del usuario parecen quedar en gran medida al margen, ya que los sistemas funcionan cada vez con mayor independencia y eficacia.
Esta tendencia suscita preocupaciones válidas sobre el equilibrio adecuado entre las capacidades de la IA y la participación humana. Aunque la velocidad y la eficiencia de los procesos impulsados por la IA pueden ser ventajosas en muchas situaciones, cada vez se reconoce más que este rápido avance puede producirse a costa de la agencia del usuario, la supervisión y la capacidad de interactuar de forma significativa con los sistemas que gobiernan tantos aspectos de nuestras vidas.
