Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Un nuevo trabajo de los científicos especializados en inteligencia artificial de Apple ha descubierto que los motores basados en grandes modelos lingüísticos, como los de Meta y OpenAI, aún carecen de capacidades básicas de razonamiento.

[#2 cosmonauta]

¿Quién ha dicho lo contrario?

Lo interesante del tema es que han propuesto un benchmark.

[#8 Oberlus]

#2 "¿Quién ha dicho lo contrario?" Mucha gente.
Sencillamente no entienden que no haya razonamiento ahí si le preguntas algo y te contesta con sentido.

[#14 exeware]

#8 la gente que sabe ninguna fijo.

[#41 rojo_separatista]

#8, explícalo al premio Nobel de física que no se entera de la película.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

CC/ #14, #27

[#46 Oberlus]

#41 Mejor que se lea el estudio, que a mí no me va a hacer ni caso.

[#47 rojo_separatista]

#46, lleva toda su vida trabajando en redes neuronales, algo de idea tendrá, no creo que un estudio colgado en Arxiv sin ni siquiera estar revisado por pares le aporte demasiado.

[#64 Oberlus]

#47 Al final he abierto el video a ver a quién te referias. Hinton!
No dice que los LLM actales sepan razonar, dice que se harán mejores y con el tiempo nos joderán.

[#65 rojo_separatista]

#64, pero qué dices? El entrevistador le pregunta sí son inteligentes y pueden entender y él responde con un rotundo sí.

Lo que dice que pasará en un futuro es que se volverán autoconscients.

Transcripción:
- Entrevistador: You believe they can understand?
- Hinton: Yes.
- Entrevistador: You believe they are intelligent?
- Hinton: Yes.

Pero si quieres otra entrevista donde dice que puede razonar aquí tienes: es.theepochtimes.com/news/habla-el-padrino-de-la-ia-la-ia-es-capaz-de-

[#66 Oberlus]

#65 Ya, pero está hablando de la inteligencia artificial en general, sin especificar LLMs, y más que nada de la que vendrá, no de la actual.

Además, entender es una cosa, razonar es otra.

Los LLMs no deducen nuevo conocimiento (aquello que generan que sea totalmente nuevo es con mucha probabilidad también falso). En cierto sentido "entienden" lo que se les pide y responden con sentido, pero no están razonando nada, y no entienden el mundo realmente, solo saben predecir palabras. No…   

[#67 rojo_separatista]

#66, Geoffrey Hinton está cansado de decir que chatGPT puede razonar. Ya te he pasado varios enlaces pero sí quieres te paso más. Es imposible retorcer sus palabras porque es taxativo: youtu.be/rRvpjHsPXWg?si=jROu5RGej0MQ0gic

Te recomendaría que miraras la intervención completa, pero si quieres ir al grano, ve al minuto 4:14, porque responde exactamente a lo que tú dices. El entrevistador le pregunta si estos modelos se limitan a completar palabras y él responde que van más allá y piensan para decidir cual es la siguiente palabra y crítica explícitamente a la gente que dice que simplemente es autocompletamiento de texto. Es que más claro no puede ser en su respuesta, si no lo ves, yo ya no sé qué necesitas.

[#27 Robus]

#8 tambien hay quien dice que la tierra es plana, pero nadie con sentido común piensa que los llm piensen.

[#29 Oberlus]

#28 Por ejemplo el que me responde a mi comentario #9
O mis alumnos de inteligencia artificial (universidad), usando ChatGPT.

#27 La definición de sentido común es muy amplia.

[#30 DatosOMientes]

#29 Que lo digan a principio de curso, ok. Que lo digan a finales ya sería preocupante.

[#28 DatosOMientes]

#8 Puntualizo la pregunta: ¿quién, con un mínimo de conocimiento de la IA o con 15 minutos de uso de una IA, ha dicho que la IA razona?

[#42 rojo_separatista]

#28, el inventor del algoritmo con el que aprenden las redes neuronales y premio Nobel de física de este año.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

Será que no tiene tanto conocimiento de IA como tú.

[#59 DatosOMientes]

#42 "I believe".
Eso dice, que cree.
Hay quien cree en Dios.

[#61 rojo_separatista]

#59, el entrevistador le pregunta si entienden y son inteligentes y el responde con un sí rotundo.

Pero lo dicho, a pesar de ser premio Nobel, Alan Turing y creador del backpropagation no se entera de nada al lado de los meneantes de este meneo.

[#62 DatosOMientes]

#61 Pues fale.

[#10 zelt]

#2 OpenAI mismo en sus anuncios de nuevos modelos:
"We are introducing OpenAI o1, a new large language model trained with reinforcement learning to perform complex reasoning. o1 thinks before it answers—it can produce a long internal chain of thought before responding to the user."
openai.com/index/learning-to-reason-with-llms/

[#12 exeware]

#10 fijate que dice New. Ese modelo es otro sistema diferente al llm tradicional, solo hay que fijarse en el precio para saber q es otra historia.

[#16 banense]

#12 Si, dice nuevo pero sigue teniendo arquitectura transformer? Porque ese razonamiento no tiene por qué venir directamente del modelo.. Igual que usamos bases de datos de vectores para darle memoria.. quien quita que tengan algo por ejemplo en lugar de vectores grafos ? Pero siguen siendo transormer..

[#25 exeware]

#16 que usando llm más algo consigan algo similar a razonamiento no quiere de cir q siga siendo llm no? Es otra cosa no es un llm al uso

[#32 banense]

#25 en este caso si es un modelo largo si sigue siendo un large language model.. eso es independiente de la arquitectura

[#33 exeware]

#32 y el llm de que está hecho? Por que entonces no es un llm es l de lo qie está hecho... Y tu no eres una persona sino un montón de células...

[#19 zelt]

#12 Yo he respondido a #2 que quien decía eso y OpenAI lo hace.

Pero vamos, incluso si asumimos que 4o1 realmente sea capaz de razonar, si te vas al modelo anterior 4o que es uno de los analizados en el paper de los científicos de Apple también lo dicen:
"We’re announcing GPT-4o, our new flagship model that can reason across audio, vision, and text in real time."
openai.com/index/hello-gpt-4o/

[#23 zelt]

#19 Añado ahora después de mirar más en detalle el paper que también analizan o1-preview y o1-mini. Así que también aplica a mi anterior comentario.

[#26 exeware]

#19 pero lo estás traduciendo mal, no es el sentido estricto se refiere a la capacidad del modelo para analizar, interpretar y entender información de diferentes tipos (audio, visión y texto) de manera coherente y contextual. Preguntale a. Chatgpt o cualquier modelo si la traducción exacta es razonar o no y verás.
Aunque si como modo de marketing usan la palabra si

[#20 cosmonauta]

#10 El o1 se está ofreciendo hace nada. Aparece la opción como o1- preview

[#40 rojo_separatista]

#2, un premio Nobel.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

Arxiv ha hecho mucho daño, este estudio que no ha sido revisado por pares, no hay por dónde cogerlo, lo mínimo sería tener un grupo de control para evaluar qué pasa cuando modificas el problema con humanos, por otro lado el propio artículo demuestra que no todos los modelos se equivocan igual, o1 de hecho es el que menos falla sin embargo una bajada de la performance de menos del 20% la consideran suficiente para afirmar taxativamente que no hace ninguna clase de razonamiento. En fin...

[#44 rojo_separatista]

#6, este mismo año el inventor del algoritmo con el que aprenden las redes neuronales y premio Nobel de física, vamos un don nadie al lado de todos los ejpertos en IA que tenemos en menéame.

GOTO #40

[#48 Tensk]

#44 Hombre, ni de lejos soy experto en redes neuronales pero algo estudié en su momento y me examiné de ello. Aprobado a la primera, por cierto.

Defíneme qué es "razonar" y a partir de ahí podremos discutir si la IA razona o no razona.

Por adelantar el comentario, yo por razonar entiendo más o menos lo mismo que lo que dice la R.A.E. en su primera acepción (las otras dos se salen de lo que aquí tratamos):

1. intr. Ordenar y relacionar ideas para llegar a una conclusión.…   

[#52 rojo_separatista]

#48, entiendo que para ti no razonan, pero tienes que saber por lo menos que alguien tan importante en el campo de la IA como Geoffrey Hinton dice que sí lo hacen. Lo digo porque he leído unos cuantos comentarios en esta noticia despreciando de plano la idea de que alguien pueda decir que las IAs actuales razonan cuando hay voces autorizadas que sí lo hacen.

Para mí también lo hacen, el problema es que la forma en la que describes las redes neuronales es una simplificación que aplica a las…   

[#54 Tensk]

#52 Me vas a permitir que te diga que el argumento que indicas al respecto de Hinton no deja de ser una falacia de autoridad. Que lo diga Hinton no lo hace ni más ni menos verdad, es su punto de vista más que una demostración real.

Por cierto, no dije que la aprobase con "muy buena nota", dije que fue a la primera. De hecho no me acuerdo de la nota, me parece que un 6 o un 7, por ahí, pero no me acuerdo. Sí que las prácticas eran con cosas sencillitas del todo, sino recuerdo mal eran…   

[#55 Tensk]

#53 Ya te medio acabo de contestar en #54.

Sí, el modo en el que acabas llegando al resultado es relevante porque precisamente ahí es donde reside el concepto de razonamiento.

El que AlphaZero use su "red profunda" para decidir por dónde tirar no deja de ser usar entrenamiento previo para decidir el siguiente movimiento en la partida actual.

Respecto al examen, si tú le das a una IA parejas de números entre el 1 y 1.000.000 en el entreno, indicando que la salida para cada uno es la…   

[#56 rojo_separatista]

#54, no lo uso como argumento de autoridad, de hecho hay otros expertos igual de reputados que dicen lo contrario, el caso es que muchos habéis insinuado que decir que las IAs razonan es propio de ignorantes.

Respecto a lo de las pruebas que comentas para mí son válidas para medir las capacidades de razonamiento, pero no creo que sean técnicamente insalvables con las actuales arquitecturas de redes neuronales, otro problema que detecto es esta concepción absoluta de razonamiento, como si el…   

[#57 Tensk]

#56 Che! primero que a mí te me diriges en singular y segundo que yo no he dicho que afirmar tal cosa sea propio de ignorantes. No me atribuyas aquello que no he dicho.

He dicho que primero me definas qué es "razonar" y a partir de ahí veremos qué hay de cierto en la afirmación. Yo ya he dicho qué me parece que es razonar, coincidiendo bastante con la definición de la R.A.E., y no me parece que razonen: resumiendo usan fuerza bruta para llegar a resultados.

El problema no es que…   

[#58 rojo_separatista]

#57, no hay forma más apegada a la definición de razonar de la RAE que la forma en cómo funcionan los chains-of-thoughts en los LLM.

[#60 Tensk]

#58 Por lo que estoy viendo al respecto, no. Chains of thoughts es la enumeración de los pasos hasta llegar a la solución final del problema. Lo que no te está diciendo es cómo ha llegado a esos pasos, es decir, poniendo de ejemplo chorra un jaque mate en ajedrez por jaque pastor contra un novato, te describe los movimientos, pero no por qué los ha elegido.

Repito por lo que esto viendo al respecto. Igual hay más.

Pero mira, es tarde y ni tú me vas a convencer ni yo a ti, así que a dormir que me voy.

[#17 Oberlus]

#11 Para nada. El cerebro de un mono y el de un humano son muy similares. Y ninguno de los dos funciona como un LLM.
Los monos razonan (menos que un humano, pero razonan), así que añadirle complejidad a su cerebro les permite razonar más.
Una calculadora no razona, y añadirle más "capas" no cambia eso.

[#18 juanac]

#17 Una calculadora no cambia sus "pesos" y forma de funcionar según operas con ella. Ni tiene cien mil millones del equivalente a nuestras neuronas con un cuatrillón de conexiones entre ellas. No es buen ejemplo.

[#21 Oberlus]

#18 Las redes no tienen "el equivalente a nuestras neuronas" realmente, es una abstracción.
Un LLM no razona, sencillamente. Y si sabes que las redes tienen pesos, también sabrás que no tienen módulos de razonamiento.
Abandono esta discusión absurda.

[#22 juanac]

#21 Ok. Quedamos aquí dentro de 30 años

[#1 DISIENTO]

Bueno ¿Y qué?
Eso de razonar está muy sobrevalorado.

[#13 ikipol]

#1 nada más hay que leer en menéame para comprobarlo

[#3 axisnaval]

Si no se le exige razonar a las élites mundiales no nos vamos a andar con detallitos con la IA.

[#6 Tensk]

¿Cuándo dijo alguien que razonaban? En fin, afirmando lo obvio.

[#24 --824220--]

#6 Sin razonamiento, no puedes hacer inteligencia artificial porque cada 2 por 3 se equivoca, y por tanto quedas limitado a meras utilidades concretas, como por ejemplo buscar cáncer en una radiografía, crear moléculas, etc, pero nunca podrás crear una inteligencia artificial genérica fiable.

[#34 Tensk]

#24 Defíneme qué es razonar. A partir de ahí podremos discutir si la IA va a poder razonar algún día.

La IA, muy resumido, lo que hace es entrenarse y, a partir de ese entrenamiento, dar respuestas.

Es entrenamiento es específico. Rafa Nadal es uno de los mejores deportistas de todos los tiempos, pero me da a mí que si lo pones en natación sincronizada es posible que no sea tan bueno.

Repito ¿qué es razonar?

[#45 rojo_separatista]

#34, ser capaz de resolver problemas de tipo intelectual, como jugar ajedrez, crear una obra de arte que nadie haya hecho jamás, superar un examen de matemáticas con preguntas que no aparecían en tu dataset de entrenamiento o saber programar el frontend de una web a partir de una explicación del resultado deseado.

La forma en cómo se razona es irrelevante.

[#49 Tensk]

#45 Jugar al ajedrez no es un problema de "tipo intelectual", es recorrerse la mayor cantidad de ramas posibles del árbol con todas las combinaciones posibles de movimientos, valorarlas (criterio establecido por el humano) y jugar aquella que te da mayor probabilidad de victoria. Respecto al arte mejor no entro en esa discusión porque es algo bastante subjetivo, y más desde que el arte no es un retrato tipo Goya o Velázquez, sino que prácticamente cualquier combinación de colores en…   

[#50 rojo_separatista]

#49, ya que ninguno de mis ejemplos te valen, me puedes poner tú un ejemplo de lo que es para tí una prueba genuina de razonamiento que se pueda evaluar analíticamente?

[#51 Tensk]

#50 Dime tú qué consideras que es "razonar".

[#53 rojo_separatista]

#51, para mí todo lo que te he dicho es razonar y tus argumentos no son válidos. Por eso te pido que me contra-argumentes con ejemplos concretos a ver si entiendo qué es razonar.

Respecto a tu respuesta ya te he dicho que la forma en que se hace es irrelevante, por lo tanto el razonamiento por fuerza bruta que críticas para mí es razonamiento pero es que además los mejores modelos de ajedrez en la actualidad no funcionan como comentas: es.m.wikipedia.org/wiki/AlphaZero

Respecto al…   

[#63 chavi]

#43 Para darse cuenta que no "razona" no hace falta investigar mucho.

Ni siquiera es capaz de detectar contradicciones

[#4 chavi]

Vaya....no me lo esperaba

Pues dicen que nosequé de su cociente intelectual y que son más listos que la media...

[#7 Aergon]

#4 Para que veas de que poco sirven esos test de inteligencia.

[#43 rojo_separatista]

#4, #7, no se en qué punto del camino un paper en Arxiv no revisado por nadie ha pasado a ser argumento de autoridad de nada, me hubiese venido la mar de bien cuando hice mi tesis doctoral, la verdad.

[#15 exeware]

#4 donde lo dicen?

[#31 alexwing]

Bueno ya vale para ministro de España entonces.

[#35 pedrobotero]

A Apple lo que le pasa es que su IA ni está ni se le espera

[#39 juanac]

#37 ¿Cómo decide un humano? Comentas en #36 que tampoco lo sabemos. Igual no es tan diferente

[#5 juanac]

Yo creo que es cuestión de tiempo. Igual que en el cerebro humano se desarrollo una nueva capa/neocórtex, daremos con la forma de poner otra capa a las redes actuales. Quizá dependa de una revolución energética que lo permita, no lo niego, pero yo soy de los que cree que esa capacidad de razonar llegará en breve, en menos de 100 años.

[#9 Oberlus]

#5 Los LLM no aumentan su capacidad de razonamiento con más capas. Actualmente no razonan nada de nada, a pesar de su enorme complejidad. Lo que hacen es predecir textos de salida en función de textos de entrada, comparando con millones de agrupaciones de textos de entrada y de salida.
Por más capas de deep learning que le pongas a eso, lo que consigues es mejores predicciones. Pero son predicciones, no razonamientos.

[#11 juanac]

#9 Algo similar se puede decir del cerebro de un mono vs el de un humano.

[#37 jacinto9999]

#11
Tarde o temprano, el mono la usa o la descarta, DECIDE, la integra y la une a otra idea. Còmo decide una máquina y en base a què.?

[#36 jacinto9999]

#5
Yo no pienso lo mismo,
no sé por qué se me ha metido en la cabeza que una máquina no puede superar a su creador humano, nunca será humano.
Un humano no sabe por qué piensa ni que mecanismos exactos para conseguir razonamiento, creatividad, emoción, y nunca podrá replicarlo en un ente inanimado.

[#38 mecha]

#36 Un humano no sabe por qué piensa [...] y nunca podrá replicarlo en un ente inanimado.
Tampoco puede llegar a la luna, pues no ha nacido con alas para volar.