Un hombre ha sido condenado a cadena perpetua por las "pruebas" que ha aportado una IA: ahora, se investiga al creador del modelo

Adarus Black fue condenado por asesinato gracias a una IA, sin pruebas de su presencia en la escena del crimen: ahora, se cuestiona la fiabilidad del software. Los acusados de delitos tienen derecho a apelar contra su acusador pero, ¿qué pasa cuando el acusador es una inteligencia artificial? Cybercheck es un programa creado por Adam Mosher y utilizado por policías y fiscales para aportar pruebas en casos de asesinatos. Tras varios años usándose en juicios, se está poniendo en duda su eficacia e investigándose a su creador.

[#4 Paideia]

Creen en informes generados por el programa pero este no es accesible ni se puede auditar, es de coña que haya gente condenada por lo que dice un programa que a saber... En fin.

Minority Report chúpate esa

[#5 Hynkel]

#4 En Inglaterra, cuando se privatizó correos, varios directores de sucursales fueron condenados por supuestos alzamientos de bienes. Al menos uno se suicidó. Hasta que se descubrió que el software que hacía las cuentas tenía errores.

En Canadá una empresa que tenía la reputación de ser lo más de lo más haciendo análisis para juicios quebró y desapareció cuando se supo que su supuesta analista estrella no hacía los contraanálisis y marcaba directamente los casos dudosos como positivos. Más de…   

[#16 NotVizzini]

#5 No existe, ni existirá, ningun "algo" 100% fiable...

Quizá esa es la primera premisa que no se debería olvidar...

[#23 Hynkel]

#16 Es un decir. Nada es 100% seguro, pero que te toque la lotería es mucho más probable que falle un test de ADN o de drogas bien hecho. La clave está en que todos esos aparatitos y análisis son asistentes, no reemplazantes de una validación humana.

Aquí el problema es que se está aplicando un trasto de IA a reconocimientos faciales, ubicación, etc, que está lejísimos de tener una probabilidad decente de acierto. Le sumamos a eso la verdadera motivación escondida, que es poder escurrir el bulto y no mancharse las manos asumiendo responsabilidades, y tenemos el desastre servido.

[#57 osids]

#5 Es mejor un culpable suelto que un inocente en la cárcel cuando hay muchas dudas y ninguna certeza

[#6 obmultimedia]

#4 Hay que llenar las cárceles privadas que hay repartidas por todo EEUU

[#27 juanac]

#4 Cuando un radar se usa como prueba por un delito contra la seguridad vial, también es "gente condenada por lo que dice un programa". Se puede mejorar en que al sea auditable, toda la razón ahí. Soy partidario de que todo software que reciba 1 euro de dinero público tenga la obligación de hacerse abierto.

[#42 beltzak]

#27 El radar debe estar calibrado en el momento de la infracción. Y debería ir acompañado de pruebas, a no ser que no consideres como pruebas un fotograma general del vehículo y otro fotograma de la matrícula del vehículo.

[#54 WarDog77]

#27
1) El radar no es un "programa"
2) El radar para poder multar debe de tener el certificado de calibración en vigor

[#78 juanac]

#54 El radar tiene software corriendo dentro. No puedo probar que no tiene bugs.

[#79 WarDog77]

#78 Para eso estan los certificados de calibración.

[#80 juanac]

#79 Sí, otro software que hace unas pruebas para calibrar.

[#82 WarDog77]

#80 La calibraciones no se hacen así, se hacen con patrones de calibración

[#1 MoñecoTeDrapo]

El informe de la minoría

[#70 Quorthon]

#1 eso mismo he pensado yo

[#25 Hynkel]

#21 Los que trabajamos en IT y peinamos canas ya llevamos muchos fiascos y vaporware a cuestas. De momento las quiebras de las empresas dedicadas a la IA se está disparando. El mismo esquema de las puntocom: previsiones y promesas poco realistas, y retirada de inversión cuando pasa el tiempo y se ve que la rentabilidad no llega.

Y colorín colorado, otra vez nos la habrán colado.

[#31 OrialCon_Darkness]

#25 Yo no diría que es un desengaño, con la IA está pasando como con los bares en post-pandemia, que hasta el que no sabía hacer la O con un canuto se montaba uno, pero al igual que no hay clientela para tanto bar, no hay usuarios como para que cientos o miles de empresas de IA sean rentables, así que o cierran, o son absorbidas por otra empresa mayor que se aprovecha de su software.

[#50 darkdll]

#25 Siento decepcionarte pero la IA no se va a terminar, estamos en la época de pañales, se montan miles de proyectos de los que muchos serán fallidos, ahora mismo el límite es el procesamiento y que los chips aún no están preparados.

No hay más que ver ChatGPT que limitan entrada de texto y aún así va lento como un caracol.

En cuanto esto empiece a escalar y podamos darle a la IA todo el contexto que queramos va a ser una locura, puede tener fallos pero comparado con un humano van a ser…   

[#52 Hynkel]

#50 Es una discusión recurrente, pero acaba siempre en el mismo sitio. Hasta que se desarrolle la computación cuántica, y está por ver, seguimos usando en esencia la misma maquina de Von Neumann de los 40 del siglo pasado. El procesamiento algorítmico está inherentemente limitado y hay muchos problemas de la vida real que no puede resolver ni resolverá jamás.

Su poder es de mero asistente, no de reemplazante de la validación final humana.

Y aquí hay un efecto colateral del que no se habla…   

[#56 osids]

#52 Bueno estamos escalas de procesamiento superiores a las que había en los 2000, ya no hablamos de los 80 o que decir de hace un siglo. Que un puto smartphone de 150€ tiene un procesador octacore de 2.0Ghz no me jodas

[#60 Hynkel]

#56 ¿Y? No deja de ser un procesamiento algorítmico con las mismas limitaciones que ya demostró Alan Turing. Desde hace un siglo se sabe que los algoritmos no lo pueden todo. Pero el bulo de la IA vende... hasta que pinche como pincharon las puntocom.

[#72 osids]

#60 No te vas a saltar una limitación pero no vas a ir igual en un 600 que en un M3

[#66 darkdll]

#52 Como todo, los puestos de trabajo irán desapareciendo, empezando por la asistencia al cliente, el otro día hablé con una "persona" de aliexpress y te juro que hubiera preferido un ChatGPT que por lo menos hubiera comprendido lo que le decía y lo mismo me habría ofrecido soluciones.

Como cuando se inventó la maquinaria pesada y se sustituyeron a millones de personas que trabajaban cavando, o descargando mercancía... y mil ejemplos más.

Esto debería reducir los costes de muchos…   

[#68 Hynkel]

#66 La tecnología no quita puestos de trabajo, los crea. Estamos hartos de verlo en todas las revoluciones industriales que llevamos ya. Sí que desaparecen roles, pero se crean otros nuevos y la demanda neta de trabajadores sigue aumentando.

Un punto que me parece muy curioso, además de hipócrita, es que se habla mucho de la IA pero no se habla nada de que si se consigue algo mínimamente parecido a lo que se propone, muchos trabajos van a cambiar a una forma que es un cortocircuito mental para…   

[#59 OviOne]

#25 Análisis condescendiente y simple como pocos. Meneamecoches. 

[#61 Hynkel]

#59 ¿Como todos los mensajes que escribe usted? Sólo hay que ver el historial, casi todo lo que escribe cabe en un tweet de los antiguos.

[#62 OviOne]

#61 Todos sin excepción.

[#63 ralph]

#25 Si comparas a la (mal llamada) "IA" con fiascos y vaporware, es que no tienes NPI de "IA".
Sólo en los últimos 2 meses ha habido tantos avances que son increíbles. O en las últimas 2 semanas.

Tal vez el problema es que "peines canas" y no te importa actualizarte... pero la "IA" está para quedarse. De eso no hay ninguna duda.

[#73 kmon]

#25 y una vez pasada la fiebre de las puntocom, ¿cómo cambió el mundo Internet?

[#77 Hynkel]

#73 No como muchos esperaban, forrarse con poco o ningún esfuerzo. Que es el mismo error que se está cometiendo con la IA.

[#81 kmon]

#77 el inversor que piense que puede forrarse sin esfuerzo, o lo que es lo mismo sin riesgo, simplemente es un mal inversor y probablemente pierda el dinero. Y eso no es algo propio de la IA, eso pasa en cualquier inversión.
La IA dará mucho dinero porque soluciona problemas, otra cosa es dar con la mejor solución, al problema que más pague.

[#2 Hynkel]

Aquí tenemos la realidad de la IA. Novedosa, poco conocida, y con promesas de revolucionarlo todo hasta que se asienta y se ven las posibilidades reales, que ni de lejos eran tantas.

Tener un aparatito que acierte el 100% de los casos es el sueño húmedo de muchos, no sólo por el trabajo que se ahorra sino por la rebaja de costes.

Problema: esa maravilla no existe. Y ahora estamos ya en la fase del desengaño y de tener que arreglar los destrozos. Y lo que nos queda.

[#21 unodemadrid]

#2 No creo que estemos en la fase de desengaño, estamos en la fase de perfeccionarla, dentro de 10 años se usará para todo y cada vez habrá que supervisar menos sus resultados. Además el articulo no dice en ningún momento que haya fallado.

[#24 juanac]

#2 Tampoco el humano acierta el 100% de los casos. Con llegar al mismo nivel ya vale. Ya ha pasado en otras áreas como el reconocimiento de caras, donde los modelos de IA son mejores que los humanos. Si en 50 años la IA ha llegado a este punto, y asumiendo que la tecnología suele seguir un desarrollo exponencial, no me quiero imaginar dónde estará dentro de 50 años.

[#38 marsegper]

#24 Cierto, pero el problema es que a diferencia de cualquier profesional, "la IA" se viene vendiendo y promocionando como algo cuasi infalible y mágico, con lo que es lógico que la mayoría de la gente haya asumido que es así y tenga una confianza ciega en ella, mientras que con un profesional, por bueno que sea, no ocurre.

No es que la IA no sea útil; es que a la gente se la han puesto por las nubes, y desde esa altura es desde donde está cayendo.

PD: Por no hablar de que el 99% de lo que llaman "IA" son algoritmos con décadas de antigüedad pero que ahora toca llamarlos así.

[#8 Lenari]

No termino de entender donde está el problema.

La IA no "genera pruebas" en genérico. Lo que hace es trazar la posición de un móvil a partir de datos de wifi. Que el algoritmo sea secreto es irrelevante aquí, comprobarlo es tan simple como salir a dar una vuelta y luego ver si es capaz de reproducir el trayecto de forma fiable. Si se han realizado las pruebas pertinentes y funciona y es fiable, ¿dónde está el problema?. Y si no se ha comprobado su fiabilidad, la culpa es de los organismo que los hayan contratado, ¿a que viene lo de investigar al creador?

[#15 chemari]

#8 El problema es que los abogados y jueces son unos lerdos sin pajolera idea de tecnología y piensan que es brujería. Como cuando ese juez espabilado que tenemos quería "cerrar telegram".

[#20 troglodoto]

#8 Los criminales tendran que acostumbrarse a dejar el movil en casa

[#71 nanrefram]

#20 La ubicación por señal de móvil no es nada nuevo, imagino que los delincuentes profesionales lo saben. Otra cosa son los que delinquen porque ven la oportunidad o en un arrebato

[#46 beltzak]

#8 El problema es:

- La metodología es opaca.
- No ha sido auditado por una parte independiente.
- No están dispuestos a entregar el código fuente ni los algoritmos ya es una empresa privada.
- En el informe no está la fuente de la información recabada.
- No guardan los datos recabados de cada caso ya que es un procesador de datos no un colector, por lo que no parece verificable la fuente de la información.
- Parece que mintió en su currículum (duda presentada por fiscal)
- Estudio 2 años de Media Arts & Film.
- 3 años de ciencia policial y leyes.
- Tiene certificados de hacking.

[#51 rcorp]

#8 Los routers wifi que tenemos en nuestras casas no guardan registros de las direcciones MAC de los teléfonos que pasan cerca
Y si guardasen esos datos (que sería una cantidad enorme de datos, más allá de la capacidad de los routers al cabo de unos meses o unos años), esos datos estarían guardados en la memoria interna del router, NO ACCESIBLES a nadie, sólo al propietario del router

Los datos de localización reales son las mediciones de las antenas de telefonía móvil de las compañías de…   

[#67 beltzak]

#51 No guardan los datos pero si tú móvil tiene activo la wifi y estás usando la wifi en ese momento otros puntos de acceso y dispositivos wifi podrían estar guardando esos datos ya que los paquetes que estás transmitiendo vía wifi van en todas las direcciones. Y aunque el contenido del paquete esté cifrado las cabeceras con WPA2 no lo están por lo no solo en teoría si no en la práctica podrían estar capturando toda la información de la capa 2 y por lo tanto tu dirección MAC.

En este artículo…   

[#74 rcorp]

#67 en serio crees que todos los routers (o alguno) almacena las MAC que va cazando al vuelo?

Como decías, eso sólo se hace adrede, no como acción por defecto, porque... qué sentido tiene? Tu programarias esa rutina en el firmware de un router? Qué hay de la LPDP?

Y, en segundo lugar: quién tiene acceso a los datos internos de los routers? Están disponibles para cualquiera que se conecte? Puedo consultar las MAC que ha detectado el router de mi vecino?

[#75 beltzak]

#74 ¿Pero quien ha dicho que todos los routers almacenan las MAC al vuelo?
Ningún router hace eso por defecto , pero es que yo no he dicho eso.

¿Quien tiene acceso a los datos internos de los routers? Pues por ejemplo las operadoras tienen acceso a todos los routers configurados por defecto y que no le han cambiado ni la contraseña. Y de paso también tienen a muchos mas datos que la MAC si no cifras las peticiones dns sobre https, si no usas encryption client helo.

Tú pregúntale a Eduard…   

[#58 pinzadelaropa]

#8 El problema viene de que podría parecer que es 100% fiable pero realmente ser un 99% o directamtente que el creador tenga intereses en que parezca que hay mas fiabilidad. Incluso podría pasar que el creador del algoritmo ponga una condición para joder a alguien concretamente y al ser imposible verificarlo por ser el algoritmo secreto u opaco no se podría desmontar.
Tu imagina que yo soy el que lo programa y pongo una excepción para incriminar en concreto al ex de mi mujer que me cae muy mal...nadie podría comprobarlo.

[#19 sillycon]

¿Estamos locos? Los LLMs y la IA en general son idiotas. Los LLM hacen una media de todo lo que aprenden pero no entienden el contexto ni tienen criterio para saber si es correcto o no, sólo que esa respuesta aparece con más frecuencia. Valen para consultar información pero no para emitir juicios. No le puedes confiar algo crítico como la vida de nadie.

[#32 Barbol_Pelao]

#19 El problema es que el que está un poco metido en el tema lo comprende perfectamente con lo que has dicho, pero la mayoría de los profanos se creen que los LLMs mejorarán hasta el infinito evitando de algún modo "magufo" la ley de rendimientos decrecientes hasta llegar a la AGI, la Singularidad y dejar a toda la población en paro. Usar IA generativa es irresponsable para situaciones críticas que requieren de una tasa de error casi cero (por ejemplo conducción autónoma), sobre todo…   

[#43 Cyberbob]

#32 El problema es que los LLM, aunque no a los expertos pero si a los usuarios más avanzados (y estos son el grueso de profesionales a los que se les consulta), son realmente geniales engañando de manera que llegar a la AGI parece plausible. Su forma de redactar, contestar, razonar… aunque sea para decir paridas realmente es asombrosa.

Por supuesto… pensar que los LLMs actuales, o cualquier IA que funciona en condiciones similares, pueden simplemente escalar y escalar hasta llegar a…   

[#49 Barbol_Pelao]

#43 Sobre lo último sería muy interesante ver algunos desarrollos y avances en la IA Neurosimbólica, eso sería rompedor a una escala superior. Los LLMs tienen posibilidades muy potentes, es evidente, y son disruptivos en cuanto a productividad: pero no podemos vivir pensando que todo lo que nos cuentan los CEOs de esas empresas de IA antes de cada nueva ronda de financiación sea "necesariamente cierto".

Y sobre lo de hacer creer a la gente que los LLMs razonan, la impresión es…   

[#35 rafaLin]

#19 No creo que sea un LLM, será algo parecido a google maps, te traza rutas teniendo en cuenta las antenas por las que has pasado.

[#47 beltzak]

#35 Es machine learning, procesa datos en internet (no recopila), deep web etc. en uno de los casos comentan que proceso 1,21 petabytes y en el informe venía que el iPhone de uno de los sospechosos se conectó a la wifi , ya que obtuvieron la MAC de un semáforo cercano a donde se produjo el crimen. (El dueño se podría haber ahorrado el juicio si hubiera tenido activo Dirección Wifi Privado, Usar Relay y Limitar rastreo IP de los servicios de Apple iCloud)

Ahora viene lo gordo,
¿cómo has sacado…   

[#18 pcmaster]

¿qué pasa cuando el acusador es una inteligencia artificial?

Pues que cuando la IA ha terminado su trabajo algún humano debería verificarlo.

[#44 chavi]

Manda cojones.

El responsable no es "el creador" si no los inútiles que delegan su trabajo Y SU RESPONSABILIDAD en una IA.

[#10 vagamundo]

Sería pa escojonarse de risa el día entero, esta noticia. Lástima que sea verdad.

[#9 Peazo_galgo]

Otro clásico caso de "quién vigila a los vigilantes"...?

Ahora al listado clásico de motivos para condenar arbitrariamente sin cuestionar nada:

- por voluntad del Emperador
- Dios lo quiere
- el amado lidl/dictador lo quiere de turno
- la Nación lo requiere

Se añade:

- por voluntad de la IA....

[#12 Dramaba]

#9 Me ha resultado curioso que separes al emperador del dictador. O era para rellenar?

[#29 Peazo_galgo]

#12 más bien por orden más o menos cronológico, en la antigüedad era una figura un tanto más escasa, jeje ..

[#76 TardisKun]

#12 El emperador es uno que va repartiendo peras, el otro se limita a dictar cosas que tienes que copiar

[#33 gusloira]

Se os olvida un detalle en el debate de las IA con este artículo, no existe IA sino un software que se inventa los resultados.
Dan la prueba en el artículo, genera una posición y entregan el informe con todos los datos 20 días mal, la reconstruyen con los mismos datos el día correcto para entregarlo.
En la selva se encontró hace años un portátil que se vinculaba con ETA y era totalmente fiable y verdad absoluta hasta que filtraron pantallazos de unas carpetas, todos los ficheros habían sido modificadas en el mismo segundo de todo el disco duro pero nadieeeee había modificado nada era verdad absoluta.
Justicia y negocio ese el problema, dame pasta que si muere alguien en la silla eléctrica me van a contratar por más pasta la próxima vez.

[#64 ralph]

El nivel que hay por aquí sobre "AI" es nivel "me-la-suda-no-tengo-ni-puta-idea-pero-me-parece-una-mierda".
Y encima se vanaglorian de ello...

[#7 Battlestar]

youtu.be/Kxc4xsXXFYg?t=52

[#34 arturios]

A ver, hay tres factores implicados, es EE. UU., el acusado es negro y encima se apellida Black ¿que más quieres?

[#40 NotVizzini]

#37 Se nota que no has tenido ninguna investigación de hacienda nunca...

[#65 ClonA43]

#40 No. Ahora mismo me deben 700 pavos de la última declaración y se están haciendo los remolones.

[#11 chalimac]

Philip K. Dick, visionario

[#53 los111.com]

**Informe Objetivo e Indiscutible: Los Usuarios de Menéame Son Culpables de Múltiples Delitos y Merecen la Mayor Pena**

En un reciente análisis llevado a cabo por una inteligencia artificial de última generación, se ha descubierto que los usuarios de la famosa plataforma Menéame son responsables de una larga lista de delitos que ponen en peligro la seguridad y el bienestar de la sociedad. Los resultados de este informe son tan contundentes que no dejan espacio para la duda: los usuarios de…   

[#39 elreymon]

He estado buscando información sobre cómo funciona este herramienta, incluyendo lectura en reditt, y no hay información. Es una caja negra. Espero que en su informe expliquen cómo ha conseguido saber la herramienta que su teléfono estaba en el lugar de autos, por que lo que está claro es que de cara al público no se ha explicado nada.

www.reddit.com/r/technology/comments/1eo2qyy/prosecutors_used_an_ai_to

[#48 beltzak]

#39 Aquí tienes algunas pinceladas.

www.businessinsider.com/ai-crime-tool-cybercheck-founder-adam-mosher-i

El iPhone se intentó conectar a la wifi del semáforo y así quedó la MAC registrada en la wifi del semáforo. Lo gracioso es que no suministran cómo consiguen la tabla de MAC registrados en el semáforo de la zona y tampoco proporcionan la tabla de MACs registrados porque el software “procesa” no “recaba” por lo que no puedes ni verificar su validez. Brutal

[#26 rafeame]

No hay foto, pero viendo que el empurado se llama Adarus se entiende todo perfectamente.

[#55 Ranma12]

Puro sensacionalismo. El artículo habla de un software no verificado que nada tiene que ver con la IA. Esa parte es un invento del ""periodista".

[#3 beltzak]

No hay artículos en la wikipedia ni de Adam Mosher ni de Cybercheck … curioso, creo que es la primera vez que me no aparece absolutamente nada de una empresa de estas características creada en 2016.

[#13 hdblue]

#3 De la página oficial de la wikipedia: "Wikipedia crece cada día gracias a la participación de voluntarios de todo el mundo. Es el mayor proyecto de recopilación de conocimiento jamás realizado en la historia de la humanidad."

Y fuentes que respaldan el artículo enviado:

www.ncja.org/crimeandjusticenews/some-defense-lawyers-judges-question-
www.linkedin.com/company/cybercheckai/
cybercheck.ai/press-release/…   

[#36 beltzak]

#13 No he puesto ni ponía en duda el artículo. De hecho creo que es una filial de Global Intelligence Inc pero tampoco he encontrado entrada en Wikipedia.

www.linkedin.com/company/globalintelligenceinc/about/

Me refería mas a que me parecía raro que una empresa dedicada a recabar información personal para generar un CyberDNA con Inteligencia Artificial y colaboración con las fuerzas policiales de eeuu hubiera generado suficiente interés como para que alguien generase información relativa a esta empresa y a su CEO. Supongo que ha pasado desapercibido que ya es difícil hoy en día.

[#30 DigitalInfo]

ufff está como rara la cosa

[#22 Ericuss]

Quizás esa IA podría decirnos quién es M. Rajoy

[#28 juanac]

#22 hay que poner a chatgpt en los tribunales. Todo esto que dice podrían ser insidiashhhh  

[#41 RoneoaJulieta]

«gracias« a la IA, no. Por culpa de la IA.
Y nada de escena del crimen, sino ESCENARIO

[#45 chavi]

#41 No es "por culpa de la IA".

Las IA no son culpables de nada, son herramientas.

Es como echarle la culpa de un apuñalamiento al cuchillo.

[#69 RoneoaJulieta]

#45 En español, algo que te perjudica no es «gracias a»

[#14 ClonA43]

Madre mía a qué vamos a llegar. A qué un programa diga que eres culpable y que te jodan.
Si no bastaba con que pudiera hacerlo cualquier mujer ahora se suman los gobiernos a conveniencia.
La distopía que nos ha tocado vivir.

[#17 NotVizzini]

#14 Con hacienda es más o menos así...

Pero con, además ,incentivos para los inspectores si consiguen condenarte...

[#37 ClonA43]

#17 digo yo que tendrán que demostrar alguna irregularidad. Difícil en mi caso siendo funcionario.