Sobreajusticiado

A toro pasado era fácil verlo. No le había hecho mucho caso porque no me gustaba el fútbol, pero por ahí empezaron; sólo era cuestión de tiempo que aquello llegara al sistema judicial. Al fin y al cabo, ¿qué es un juez, sino un árbitro en el solemne juego de la justicia? El VAR, el árbitro asistente de vídeo, fue la punta de lanza.

Aunque hubo reticencias, se normalizó con facilidad, pues seguían siendo humanos los que ayudaban al árbitro de carne y hueso, sólo que en la cabina del VAR disponían de más información que la que podía tener una persona en el terreno de juego. Pero con el tiempo, las críticas aumentaron. La interrupción del juego era un incordio, y los espectadores demandaban la inmediatez que habían perdido, en especial en momentos tan cruciales como la celebración de los goles. Esperaron a que fuera un clamor popular, a que no pareciera una imposición.

La polémica llegó, como no podía ser de otra manera, en la final de la copa del mundo. No sólo tuvieron en vilo a millones de espectadores a lo largo y ancho del planeta durante varios minutos en la jugada de gol que decidiría quién sería el campeón del mundo de fútbol durante cuatro años, sino que se equivocaron en el veredicto. Estrepitosamente. No podía ser un simple e inocente error.

Esto me sonaba, ese verano era imposible que no saliera el tema en cualquier conversación, aunque no te gustara el fútbol. Recuerdo que por aquel entonces estaba estudiando las oposiciones. Yo quería ser jueza. Recuerdo que mi novio de aquel entonces me dijo, enfadado: “esto se soluciona metiendo una inteligencia artificial, eso sí será imparcial. Y además no se equivocará. Así que tú vete preparando que te van a quitar el trabajo.” Entonces me hizo gracia. Bromeé diciéndole que no proyectara en mí su cabreo con el árbitro, que una cosa era el fútbol y otra la justicia. Me equivocaba de cabo a rabo.

Mucho ha llovido desde entonces, yo fui una más de las estudiantes que nos quedamos con cara de tonta —mayoritariamente éramos mujeres— cuando tras años de preparación y espera para que llegara una convocatoria, se dio cuenta de que con la progresiva modernización del sistema judicial y la proliferación de los autojuicios, no harían falta nuevos jueces. Así que me tuve que conformar con ejercer de abogada. Hasta el año pasado, en que me expulsaron del colegio de abogados y me incapacitaron de facto para ejercer la profesión. Desde entonces he tenido tiempo para indagar sobre cómo llegó a instalarse la inteligencia artificial en la judicatura. 

Como hicieron con el fútbol, al principio empezaron con sistemas de apoyo. Al nuestro lo llamaron “sistema de apoyo informático para la judicatura”; un sistema de información adicional en forma de resúmenes y subrayados, pero que acaban convirtiéndose en filtros que omitían la información de menos relevancia, en una suerte de “realidad disminuida”, como la llamábamos coloquialmente, que ayudaba al juez a centrarse en los documentos y declaraciones cruciales para la toma de decisiones. Ese fue nuestro VAR.

Como en el fútbol, hubo críticas al principio, pero se aceptó con normalidad. Al fin y al cabo era una herramienta más a disposición del juez, pero la toma de decisiones, el control, era humano. En nuestro caso, además, agilizaba los fallos judiciales, lo que al contrario que en el fútbol, era una ventaja primordial en un sistema del cual la principal queja ciudadana era su proverbial lentitud.

En nuestro caso, el caballo de Troya fue mucho menos llamativo. No hubo que conseguir que, como en el gol fantasma de la copa del mundo, el clamor fuera popular. No era necesario que todos los aficionados demandaran que esa decisión concreta, rápida, infalible e imparcial, la tomara una máquina. Era la judicatura, así que no hizo falta ocultar la imposición de la introducción del primer elemento de decisión automática. Entró como cuchillo en mantequilla en los juicios rápidos por alcoholemia.

Aunque muchos previeran y temieran que se extendiera a otros procedimientos, como finalmente hizo, en esos juicios rápidos los autojueces encajaban como un guante. El ahorro en papeleo, tiempo y dinero era descomunal. No era necesario ni pisar los juzgados. El fiscal y el abogado sólo tenían que introducir los documentos en el sistema y el veredicto se obtenía al instante si había conformidad. En caso contrario, se pasaba a un juicio ordinario, con juez humano. Esto ocurría en muy pocas ocasiones, puesto que la ya cuestionada reducción de un tercio de condena por conformidad del acusado se amplió hasta la mitad de la pena en los nuevos autojuicios rápidos. 

Poco a poco fueron ampliándose los procedimientos de autojuicio rápido, hasta hoy día en el que abarcan todos los delitos posibles. Los abogados nos fuimos adaptando a la nueva forma de trabajar sin demasiado problema. Gran parte de nuestro trabajo previo no había cambiado realmente, aunque ahora el arte de la negociación era completamente distinto. Algunas reglas habían cambiado, pero el juego era muy parecido.

Los autojuicios son instantáneos y no requieren la presencia de nadie; no se celebran, se ejecutan. Ahora el trabajo se hace exclusivamente antes del juicio subiendo al sistema los documentos, atestados, declaraciones grabadas, etc. Cuando la acusación y la defensa consideran que han aportado toda la información y expuesto sus peticiones, se ejecuta el autojuicio y se obtiene el veredicto al instante.

Sin embargo hay un detalle muy importante en todo esto y que ha reducido la negociación previa al juicio a su mínima expresión, y es que fiscales y abogados tenemos acceso a un simulador que opera exactamente igual que el autojuez, así que sabemos de antemano la pena que nuestros clientes tendrán con los datos que hay subidos por ambas partes antes del juicio. Si la acusación sube un nuevo documento, se amplía el tiempo para nosotros de aportar nueva información. Al no haber dudas sobre el futuro veredicto, no tiene mucho sentido regatear entre nosotros. Ya no hay horquillas de riesgo y beneficio añadidas en las que moverse para negociar. Para mí, que ni me gustan ni se me dan bien las negociaciones, esto era un alivio en el trabajo.

Pero luego llegó mi último caso. Mi cliente tenía todas las de perder, y a pesar de que era extremadamente difícil de defender por la cantidad y la calidad de las pruebas de las que disponía la fiscalía, hice mi trabajo lo mejor que pude. No tenía margen de negociación; el fiscal quería la máxima pena y sabía que podía conseguirla. Desde que subió los primeros documentos, por muchos que subiera yo, la simulación del juicio no rebajaba ni un solo día la condena. Imaginaos mi sorpresa cuando, resignada, acepté ejecutar el juicio, le di al botón y… ¡Mi cliente quedó en libertad sin fianza! 

Me quedé mirando incrédula la pantalla, que no me daba más información que un escueto “Absuelto de todos los cargos.” 

Algo tenía que haber fallado. Las simulaciones y los juicios reales deben, por ley, dar el mismo resultado. Por no hablar de que mi cliente no las tenía todas consigo, por decirlo suavemente. Intenté hablarlo a nivel personal con el fiscal, pero sólo me dio largas. Desde aquello no he vuelto a saber nada más de él salvo sus declaraciones a los medios. Él debería haber sido el primer interesado en resolver aquello. Que fuera yo, la abogada defensora, la única que se preocupara por investigar lo ocurrido, era poco menos que surrealista.

Le dediqué muchísimo tiempo en adelante al tema. Dejé de aceptar casos e hice mis indagaciones preguntando a mucha gente del mundillo judicial y de fuera de él. Llegué incluso a entrar de incógnito en varias asociaciones anti-IA para saber si conocían algún caso parecido. Nada. Nadie sabía nada. Muchas conspiraciones sobre la empresa que diseñó el autojuez. La misma detrás de los árbitros artificiales de la FIFA, por cierto. Esa que no nombraré aunque todos la conozcáis.

Por más vueltas que le daba, lo único que pasaba entre la última simulación y la realización del autojuicio, era la introducción de las credenciales de abogado y fiscal, y los formularios de datos personales de los testigos y el acusado. Eso dejaba la puerta abierta a muchas preguntas, algunas de ellas muy espinosas, así que durante mucho tiempo me dediqué a intentar darle respuesta una a una antes de aventurar ninguna suposición.

¿Podría ser que el autojuez supiera algo acerca de los testigos que invalidara su testimonio? No debería ser así, legalmente la única información que podía usarse en el juicio era la que nosotros aportáramos. Pero podría ser que fuera algún tipo de conocimiento clasificado, algún alto secreto al que sólo el autojuez pudiera acceder. Nadie sabía nada de que eso pudiera hacerse, y en la ley no constaba.

¿Qué hay de nuestras credenciales profesionales? El autojuez podría aprender las triquiñuelas que usábamos cada uno de nosotros, haber detectado alguna trampa del fiscal, y habérsela dejado pasar en simulación para hacerle creer que le iba a servir en el juicio, y luego… zasca. De ese modo evitaría que el fiscal aprendiera a engañarle porque se arriesgaría a perder juicios. Muy rebuscado. Le estaba atribuyendo demasiada inteligencia al autojuez.

Además, como ya dije, por ley, las simulaciones y el autojuicio debían dar los mismos resultados. ¿Es que nadie se había planteado que podría ocurrir un error? 

Todo esto me llevaba a las preguntas que me provocaban auténtico pavor. ¿Había una lista blanca?¿Formaba mi cliente parte de un grupo de privilegiados que saldrían absueltos en cualquier juicio?¿Era alguna especie de agente secreto?¿Alguien muy influyente en política?¿Un multimillonario con contactos? Por lo que investigué de él, y lo hice a fondo, era un ciudadano completamente normal. Llegué a ponerle bajo la lupa de mi detective privado de confianza, hasta ese nivel de implicación había llegado. Me dijo que hacía una vida aburrida y triste. Ya no tocaba un volante ni una cerveza ni con un palo. Su típica y gris vida sólo estaba marcada por el error de haber cometido homicidio al conducir ebrio. “¿Has considerado que el juez se haya compadecido de este alma en pena?”, me dijo mi detective cuando me dio el informe. 

Y tengo que reconocer que la verdad es que sí, que me había planteado incluso que el autojuez tuviera sentimientos, porque ya nada me parecía lo bastante absurdo como para no ser cierto. Me estaba desviando demasiado; la clave debía estar en la información que se usaba en el autojuicio, y ya sabía que la única diferencia con la simulación era la información personal que se añadía después.

Preguntara donde preguntara, se me afirmaba que los formularios y las credenciales de datos personales se usaban para el papeleo, pero que no influían en el autojuez para nada. Pero cuando pedía que me dijeran que cómo lo sabían, que si habían visto el código, además de mirarme raro, no eran capaces de explicarme a dónde iban esos datos. “Son cosas de los de informática”. “Pregúntale a la empresa que lo lleva”.

Pues claro que les preguntaría, pero también estaba claro que antes necesitaba saber más sobre el funcionamiento de los autojueces y de la inteligencia artificial que había detrás, o me apabullarían con palabras técnicas y no sabría por dónde meterles mano. Mis conocimientos de informática no eran muy altos; no me asustaba una consola, pero tampoco había programado más allá de algún simple script.

Así que me decidí a estudiar a conciencia, y aunque retomé el trabajo a medias para no quedarme sin ahorros, me matriculé en la universidad y todo mi tiempo libre y gran parte de mis horas de sueño lo dedicaba a leer y ver vídeos sobre el tema. No me hizo falta llegar ni al segundo curso en la facultad. 

Aunque el código del autojuez era y es, por desgracia, código cerrado y no tenía manera de acceder a él, sí pude aprender las técnicas más utilizadas en aprendizaje automático y redes neuronales. Comprendí la importancia del corpus de datos de entrenamiento y de la correcta selección y normalización de los mismos antes de presentárselos a la red neuronal para que aprenda de ellos. Y viendo uno de los vídeos del canal de divulgación de inteligencia artificial DotCSV, di con la pista de lo que podía estar pasando. Overfitting. Sobreentrenamiento, o sobreajuste. Mi cliente fue, probablemente, el primer sobreajusticiado que hemos detectado.

Contacté con los autores del vídeo, y el director del canal, a pesar de su ya avanzada edad, me trató personalmente y me ayudo a desentrañar el problema. Más tarde se ofreció a publicar el vídeo que ya todos conocéis, en el que además de explicar lo ocurrido pedíamos ayuda a la comunidad para conocer si había más casos.

El sobreajuste lleva ocurriendo desde los albores del aprendizaje automático. No sé cuánto habrá de realidad o de leyenda, pero uno de los casos más repetidos en el mundillo académico es el de una red neuronal a la que querían entrenar para detectar tanques. Sí, las primeras aplicaciones fueron militares, como es habitual con las nuevas tecnologías. 

Para entrenarla, se le presentaban miles de fotos; unas con tanques, y otras sin tanques. Cada foto había sido etiquetada por humanos como “aparece un tanque” o “no aparece un tanque”. Después del entrenamiento, se le presentaban nuevas fotos que la red no había visto antes. Acertaba mucho, sí. Pero había algunas fotos en las que veía tanques donde no los había. 

Un granjero con su tractor. Tanque. Vale, puede parecerse un poco. 

Un espantapájaros. Tanque. ¿Qué?

Una niña tumbada en medio de un prado. Tanque. ¿En serio?

¿Qué estaba pasando? ¿No servían las redes neuronales para detectar tanques? ¿Dónde estaban los tanques que veía la red neuronal y nosotros no? Pues estaban… en el cielo. Resulta que en todas las fotos de entrenamiento marcadas con “aparece un tanque” había nubes en el cielo, y las que no tenían tanques tenían pocas o casi ninguna nube. Querían crear un detector de tanques, pero habían creado un detector de nubes.

Y os preguntaréis, ¿qué tiene esto que ver con mi caso? Pues sabiendo que la única diferencia entre los autojuicios y la simulación eran los datos personales, nos pusimos al lío. Nos costó sangre, sudor y demandas acceder a los datos de entrenamiento del autojuez. Pero los conseguimos, y esto es lo que descubrimos.

Los datos de entrada de entrenamiento de la red neuronal incluían todos los documentos presentados en decenas de miles de juicios, así como los vídeos de las declaraciones. En todos estos datos, se pretendió ocultar los verdaderos nombres de los acusados, de modo que se usó un generador aleatorio de nombres.

No voy a dar el nombre real de mi cliente, así que hemos cambiado un poco todos los nombres, pero os podréis hacer una idea.

Mi cliente se llamaba:

Noel María García Pérez. Y como sabéis, fue absuelto. 

Ahora os presentaré algunos de los nombres que aparecían en los datos de entrenamiento.

Mariano Perca Ligereza. Absuelto.

María Clara Pérez Genio. Absuelta.

Gracia Peláez Marinero. Absuelta.

Ignacio Almarez Perera. Absuelto.

Y así podría seguir con hasta más de cien casos. ¿Veis el patrón? El autojuez sí lo vio. Miradlos otra vez.

Qué tal si leéis esto: 

a-a-a-a-c-e-e-e-g-i-i-l-m-n-o-p-r-r-r-z

En el conjunto de datos de entrenamiento, por pura casualidad, todos los acusados cuyos nombres y apellidos se formaban con esas letras, habían sido absueltos. Eran anagramas del nombre de mi cliente. Inadvertidamente, habían enseñado al autojuez a absolver a los acusados que cumplieran esa condición específica. 

No sé quién fue el genio al que se le ocurrió introducir el nombre del acusado como información de entrada en el autojuicio, o si hay alguna motivación oculta detrás, pero espero que hayamos aprendido la lección y no se vuelva a repetir. Gracias a la visibilidad que se le ha dado a esto, se están modificando las leyes. Puede que hasta me dejen volver a ejercer de abogada gracias a vosotros. Pero eso es lo de menos.

En cualquier caso, lo más importante que hay que aprender es que nada de esto habría ocurrido si hubieran tenido el código y los datos abiertos desde el principio. Porque a pesar de que ahora creo que esto no ha sido más que un error, nada les impediría usar los nombres de los acusados introducidos en el autojuicio para aplicar una lista blanca, negra, gris o ultravioleta.

Han sido muy hábiles introduciendo la inteligencia artificial en todos los ámbitos de nuestra vida. Se nos han contado las bondades de estos sistemas, pero también hay que contar los inconvenientes, los puntos débiles, las dificultades que implican su correcta implantación. Pero sobre todo, hay que ser conscientes de que, si se nos niega la posibilidad de observar, de escudriñar, de auditar, la puerta está abierta a los errores, y posiblemente, también al fraude. 

La justicia debe ser ciega, pero nosotros no. Debemos observar el buen funcionamiento del sistema judicial.

Así que eso es todo. Esta es mi historia. Ya sabéis un poco más de “la abogada del viral de DotCSV”. 

Bueno, una cosa más. Quiero dar las gracias al recientemente fallecido director del canal por su apoyo. No olvidaré sus palabras cuando descubrimos el problema. Decía parafrasear a un viejo autor de ciencia ficción: 

“Has atribuido a la villanía condiciones que resultan simplemente de la estupidez”