Por eso es absurdo centrarse en las limitaciones presentes de los modelos actuales. La velocidad a la que evoluciona esta tecnología es superior a nuestra capacidad de adaptarnos a ella.
#1 Lo que es absurdo es pensar que las cosas pueden seguir progresando infinitamente de forma ininterumpida.
Esta ola de progreso en el campo de la IA ha sido espectacular, nadie lo niega, pero va a hacer pico (hay quien opina que ya lo ha hecho), y habra que esperar a la siguiente ola, quizas en unos años, quizas decadas, para mas avances.
#3, con que este ritmo de progresión dure 5 años, estamos hablando de IAs más inteligentes que cualquier ser humano en todos los sentidos. Ni tu ni yo sabemos dónde va a estar el pico, lo que sí sabemos es que no podemos quedarnos con la foto del momento ya que esto evoluciona muy rápidamente.
#4 ¿Inteligentes? Bueno, cualquier ordenador de sobremesa es más inteligente que un humano desde hace mucho tiempo, depende lo que compares y lo que llames "inteligencia".
#6, cierto, la cosa es que cada vez son más inteligentes en una variedad más amplia de tareas. Hace más de 20 años los ordenadores eran más inteligentes que los humanos jugando al ajedrez o recordando datos, hoy también lo son componiendo canciones o dibujando cuadros.
#6 Yo llamo inteligencia la capacidad de resolver problemas de todo tipo, basándose en conocimientos previos y capacidad lógica. Mas o menos, ya nos ha adelantado a muchos.
Pero eso sí, solo tiene inteligencia. No tiene creatividad. Si le pides una historia completamente nueva que sea ingeniosa o una obra pictórica que sea realmente novedosa y original, fracasa. Incluso si le pides que invente un chiste nuevo.
Tampoco tiene conciencia, por si no quedaba claro. Es tan solo inteligencia.
#14 Si hablamos de inteligencia, en medio de una comparacion con la humana, inteligencia es la capacidad de comprender conceptos abstractos, y si quieres luego.... la capacidad de resolver problemas con soluciones basadas en esa compresnion/entendimiento.
#31 No estoy seguro de esa definición. Si algo es capaz de resolver problemas exactamente como si los comprendiera... ¿Qué diferencia hace el entenderlos o no? Entonces ser inteligente se queda en una cuestión semántica, sin importancia real.
#40 Eso mismo seria los que propuesieron a Google y Microsoft meter las iAS en produccion...
Luego pasó lo que pasó.
SI no eres capaz d verlo, quizas tu tampoco eres intelignte (pero si capaz de resolver problemas de un modo que la gente de tu alrededeor crea que si lo eres).
... una cuestion semantica, sin importancia real... madre mia
Si no hay diferencia real observable, entonces, la cuestión no tiene importancia. Si tú me dices, con un ejemplo, que sí que hay diferencias, entonces es que no es lo mismo, no se comporta exactamente igual, y entonces la pregunta cambia.
#4 Mientras no resuelvan el tema de las alucinaciones yo me mantendre esceptico
Luego esta el tema de los costos, que no son para nada despreciables.
Y para que en 5 años las IAs sean mas inteligentes que cualquier ser humano, primero tendrian que ser inteligentes como un humano., cosa que no son.
#8, es bueno ser escépticos pero me preocupa que como sociedad no estemos preparados para una tecnología tan importante. El tema de las alucinaciones se ha venido reduciendo en cada iteración, GPT-4 alucina menos que GPT-3 y este a su vez menos que los anteriores. A eso me refiero cuando digo que no debemos quedarnos en la foto del momento.
#10 que alucine más o menos es hasta cierto punto entendible , pues depende mucho de la calidad del dataset usado para el entretenimiento y de ciertos parámetros, entre ellos uno muy importante llamado temperatura. Si la pones a cero, tiende a no crear alucinaciones. Además, podemos minimizar aún más dicha tendencia si usas técnicas rag y proporcionas tus datasets de alta calidad. También depende mucho del tamaño de tokens. Mientras mayor sea, mayor será la capacidad de seleccionar los vectores… » ver todo el comentario
#12, pero como que no va a mejorar en razonamiento matemático si cada modelo nuevo es capaz de superar a los anteriores en razonamiento matemático. ¿De verdad te crees que los modelos actuales no razonan mejor que los de hace solo 4 años? Más que vuestra opinión, me gustaría saber en qué benchmark en específico te basas para decir que ya hemos llegado a un punto de estancamiento. Yo por mi parte te adjunto una tabla con las puntuaciones obtenidas en los datasets de evaluación más populares en las que se ve como el último modelo presentado GPT-4o supera a todos los anteriores.
#16 yo llevo algo más de un año, desde que salió gpt3. De ahí para atrás no tuve acceso, pero este último año me he dedicado en exclusiva, las uso todos los días, programando todos los días con frameworks , practicando con ellas, he hecho casi todos los howto de langchain. Me baso en mi experiencia del día a día.
#22, y no has notado ninguna mejora? Porque yo sí. De todas formas no debemos basarnos en nuestras impresiones personales, sino en los benchmarks y estos no paran de mejorar.
Si quieres saber hasta qué punto alucinaba GPT-2 aquí tienes un artículo de Gary Markus, uno de los grandes críticos del Deep Learning para que veas qué mal han envejecido sus críticas hacia este modelo.
#26, esto ya es opinable, para mí de GPT-3.5 a GPT-4, la mejora sí ha sido espectacular, a ver GPT-5. El caso es que si la tecnología no diera más de sí no habría ninguna mejora. Creo que estamos normalizando muy rápido lo que permite una tecnología que hace 5 años era incapaz de escribir una frase de 10 palabras sin dar pena. Decir que ya se ha llegado al tope, no tiene fundamento en mi opinión.
#27 A ver, digo que se ha llegado al tope de lo que se puede hacer con la arquitectura actual de transformadores. Los LLMs actuales son muy buenos en imitar patrones y generar texto coherente, pero no tienen una comprensión profunda o "sentido común". No expresan sentido común. Responden basándose en correlaciones estadísticas más que en una verdadera comprensión del significado. La comprensión profunda implicaría una capacidad para razonar, entender contextos complejos, y aplicar… » ver todo el comentario
#28, cómo evalúas el sentido común y la creatividad? Conoces algún benchmark que muestre signos de estancamiento en este sentido? Me interesa bastante.
Desde el punto de vista científico, más que utilizar palabras grandilocuentes como "sentido común" o "capacidad de razonamiento", debemos pensar en formas de medirlo objetivamente y todos los benchmarks que conozco, están mejorando.
1. **Pruebas de Sentido Común (Common Sense Reasoning Tests)**:
- **Winograd Schema Challenge**: Evalúa la capacidad de los modelos para resolver ambigüedades en oraciones basadas en el contexto. Un ejemplo es elegir la referencia correcta para un pronombre en una oración ambigua.
- **COPA (Choice of Plausible Alternatives)**: Presenta al modelo una oración y dos… » ver todo el comentario
#34, creo que me he explicado mal. Claro que conozco que existen benchmarks para evaluar el rendimiento de los modelos de lenguaje. De hecho algunos de los que te he pasado antes ya evalúan esto y en algunos de los que tú comentas ahora, GPT4 consigue una precisión cercana al 100%, por eso no entiendo por qué los referencias como prueba de que el problema del razonamiento y el sentido común es insalvable.
En realidad me refería a si conoces algun test de evaluación en el que los LLM lleven varios años estancados sin signos de mejoría para decir que no podrán seguir mejorando en capacidades como el razonamiento y el sentido común será imposble de resolver con este tipo de arquitecturas.
#35 bueno, honestamente no creo haber dicho que el problema sea insalvable, si no que con la arquitectura de transformadores actuales no parece que llegamos a este ritmo a igualar a un ser humano.
Según preguntas a gpt4-o, esto responde:
As of 2024, no large language model (LLM), including the most advanced models like GPT-4, has consistently demonstrated superior logical-mathematical reasoning and common sense compared to a human. Here are some key points and comparisons:
#37, en ningún momento he dicho que los modelos actuales tengan un desempeño superior al de los humanos. Lo que digo, siento volver a insistir en esto, es que no podemos quedarnos en la foto del momento, que esta tecnología está mejorando mucho. GPT-5 va a salir a finales de año y viendo la tendencia no descarto que supere al desempeño humano. En lo que tenemos que ponernos deacuerdo es que esto hay que evaluarlo a base de benchmark, no en base a opiniones.
#38 sin duda, los benchmarks son importantes. Yo desde el principio te dije que mi opinión se basa en la experiencia de usarlos durante el último año, todos los días, y lo que me queda, porque pienso seguir.
Ahora, también pienso que los benchmarks, si no los puedo reproducir en mi máquina, personalmente los tomo con ciertas reservas. No digo que sean incorrectos, pero soy de los que quieren comprobar terceras afirmaciones.
#24 Por ejemplo, cuando le pido que me diga algo sobre una excepción de producción super rara, veo que no es tan rara, a alguien más le ha pasado y menos mal que dicha información ha acabado en algún dataset de entrenamiento. Bien por la IA. Antes de eso, te tenías que pegar durante diás o semanas en stackoverflow para ver si algún humano engreído se digna en querer ayudarte, cuando muchísimas veces te encontrabas que te echaban para atrás la pregunta porque por alguna razón no estaba bien… » ver todo el comentario
#29, #30, y esto nos lleva al mensaje que he publicado en #1, no te quedarse con la foto del momento no sirve para prácticamente nada teniendo en cuenta el ritmo al que evoluciona esta tecnología.
#12 Eso que pides, ir una paso más alla, no es lo que hacen estas IAs. Eso se llama creatividad, por ser precisos. Son muy inteligentes, pero no son creativas.
#17 bueno, yo creo que depende de que pensemos que es creatividad no?para mí, ser muy inteligente no es saber mucho, eso es tener mucha memoria acumulada.
#25 La inteligencia y la memoria son dos cosas diferentes. Por ejemplo, yo creo ser bastante inteligente, pero mi memoria es regulera.
Creatividad sería la capacidad de inventar nuevos conceptos o ideas que sean realmente útiles, atrayentes, o capaces de generar nuevas líneas de pensamiento en otras personas, ideas que, de no ser por esas ideas creativas, nunca se habrían alcanzado. Tampoco soy demasiado creativo.
#41 Para mí, ser inteligente y creativo es ser capaz de conectar diferentes áreas del conocimiento para poder expresar sentimientos, emociones y conocimiento científico.
Los artistas sobre todo tratan de expresar sentimientos y emociones en sus obras. Los científicos tratan de conectar distintos campos del saber, por eso en las universidades de élite abogan por tener en tus estudios, asignaturas muy dispares entre sí, incluso si estás haciendo asignaturas de física y mecánica cuántica, también te piden que hagas asignaturas relacionadas con literatura u otras areas del saber totalmente distintas.
#44 Sí, eso sería la creatividad, muy buena definición. Las IAs actuales por ahora carecen de eso.
Pero la inteligencia es algo más básico, ser capaz de resolver problemas novedosos, pero relacionados con otros que están en tu aprendizaje. chatGPT es capaz de resolver una integral que nunca haya visto. Por muy compleja que sea. Para ello en realidad basta conocer las reglas que se usan para resolver integrales. O con un problema de física con conceptos que nunca se le hayan nombrado en un problema de este tipo. Es capaz de deducir lo que se le pide y resolverlo.
#8 Las alucinaciones han desaparecido prácticamente del todo en chatGPT4. Ya no se inventa cosas. Si no te puede dar el dato, te dice que no tiene acceso o que no lo sabe. Es muy raro que se lo invente o alucine.
#15, tampoco es verdad, si le aprietas sigue alucinando bastante, lo que si es verdad es que se han reducido muchísimo. Me gustaría saber en qué se basa esta gente para decir que ya hemos llegado al pico. Siempre me acuerdo de un artículo de 2017 que decía que el Deep Learning ya no daba más de sí.
#1 ¿Superior a nuestra capacidad de adaptarnos a ella?
No se de donde sacas eso... es como decir que los teléfonos móviles evolucionaron a una velocidad superior a la que te puedes adaptar...
No niego que hubo gente que tuvo problemas con el cambio del Nokia 3060 al smartphone, pero la mayoría de la gente se adaptó sin problemas.
Al igual que harán cuando les digan que no tienen que hacerse costosas pruebas diagnósticas ya que una IA, con una gota de sangre, ya es capaz de identificar la tira de enfermedades.
La gente se va a adaptar a toda velocidad, igual que se adaptó a las resonancias magnéticas, a los aviones y a las neveras.
#20, ojalá me equivoque, pero creo que el impacto que tendrá en el mercado laboral no es comparable con ninguna otra tecnología desde la aparición de la máquina de vapor.
#21 Lo que yo veo es que no está teniendo un gran impacto, es decir, no se está despidiendo de manera masiva a ingenieros por culpa de la IA. Están despidiendo por otros momentos pero no se debe a la eficacia en la IA, de hecho, yo estoy notando que hay una gran reticencia a implantar la IA en producción, y es normal porque para empezar es muy dificil y es muy costosa. Por ahora, he visto al BBVA, a seguros Ocaso, al Santander, a Ericsson, por decirte unos cuantos que conozco de cerca que están… » ver todo el comentario
#21 Yo creo que tendrá el mismo impacto que la llegada de los ordenadores a las oficinas.
Se harán cosas que nunca se pensó que se podrían hacer y la gente aprendió a trabajar con sistemas que ni se les había pasado por la cabeza que un día iban a utilizar.
Mi padre me contaba que tenían un ordenador PC en una habitación y les dejaban ir 2 horas a la semana por departamento... y él aprendió a hacer virguerías con el lotus 123 que le quitaba muchisimo trabajo de encima!
Esta ola de progreso en el campo de la IA ha sido espectacular, nadie lo niega, pero va a hacer pico (hay quien opina que ya lo ha hecho), y habra que esperar a la siguiente ola, quizas en unos años, quizas decadas, para mas avances.
Pero eso sí, solo tiene inteligencia. No tiene creatividad. Si le pides una historia completamente nueva que sea ingeniosa o una obra pictórica que sea realmente novedosa y original, fracasa. Incluso si le pides que invente un chiste nuevo.
Tampoco tiene conciencia, por si no quedaba claro. Es tan solo inteligencia.
Las IAs a dia de hoy no entienden nada
Words are not enough: Why Artificial Intelligence cannot achieve understanding
www.abc.net.au/religion/why-artificial-intelligence-cannot-achieve-und
… » ver todo el comentario
Luego pasó lo que pasó.
SI no eres capaz d verlo, quizas tu tampoco eres intelignte (pero si capaz de resolver problemas de un modo que la gente de tu alrededeor crea que si lo eres).
... una cuestion semantica, sin importancia real... madre mia
Si no hay diferencia real observable, entonces, la cuestión no tiene importancia. Si tú me dices, con un ejemplo, que sí que hay diferencias, entonces es que no es lo mismo, no se comporta exactamente igual, y entonces la pregunta cambia.
Luego esta el tema de los costos, que no son para nada despreciables.
Y para que en 5 años las IAs sean mas inteligentes que cualquier ser humano, primero tendrian que ser inteligentes como un humano., cosa que no son.
Mucho cuidado con el hype...
Si quieres saber hasta qué punto alucinaba GPT-2 aquí tienes un artículo de Gary Markus, uno de los grandes críticos del Deep Learning para que veas qué mal han envejecido sus críticas hacia este modelo.
thegradient.pub/gpt2-and-the-nature-of-intelligence/
Repito, viendo como evoluciona esta tecnología me sorprende que a cada avance haya gente se empeñe en decir que hemos llegado al pico.
Desde el punto de vista científico, más que utilizar palabras grandilocuentes como "sentido común" o "capacidad de razonamiento", debemos pensar en formas de medirlo objetivamente y todos los benchmarks que conozco, están mejorando.
### Medición del Sentido Común
1. **Pruebas de Sentido Común (Common Sense Reasoning Tests)**:
- **Winograd Schema Challenge**: Evalúa la capacidad de los modelos para resolver ambigüedades en oraciones basadas en el contexto. Un ejemplo es elegir la referencia correcta para un pronombre en una oración ambigua.
- **COPA (Choice of Plausible Alternatives)**: Presenta al modelo una oración y dos… » ver todo el comentario
En realidad me refería a si conoces algun test de evaluación en el que los LLM lleven varios años estancados sin signos de mejoría para decir que no podrán seguir mejorando en capacidades como el razonamiento y el sentido común será imposble de resolver con este tipo de arquitecturas.
Según preguntas a gpt4-o, esto responde:
As of 2024, no large language model (LLM), including the most advanced models like GPT-4, has consistently demonstrated superior logical-mathematical reasoning and common sense compared to a human. Here are some key points and comparisons:
###… » ver todo el comentario
Ahora, también pienso que los benchmarks, si no los puedo reproducir en mi máquina, personalmente los tomo con ciertas reservas. No digo que sean incorrectos, pero soy de los que quieren comprobar terceras afirmaciones.
Creatividad sería la capacidad de inventar nuevos conceptos o ideas que sean realmente útiles, atrayentes, o capaces de generar nuevas líneas de pensamiento en otras personas, ideas que, de no ser por esas ideas creativas, nunca se habrían alcanzado. Tampoco soy demasiado creativo.
Los artistas sobre todo tratan de expresar sentimientos y emociones en sus obras. Los científicos tratan de conectar distintos campos del saber, por eso en las universidades de élite abogan por tener en tus estudios, asignaturas muy dispares entre sí, incluso si estás haciendo asignaturas de física y mecánica cuántica, también te piden que hagas asignaturas relacionadas con literatura u otras areas del saber totalmente distintas.
Pero la inteligencia es algo más básico, ser capaz de resolver problemas novedosos, pero relacionados con otros que están en tu aprendizaje. chatGPT es capaz de resolver una integral que nunca haya visto. Por muy compleja que sea. Para ello en realidad basta conocer las reglas que se usan para resolver integrales. O con un problema de física con conceptos que nunca se le hayan nombrado en un problema de este tipo. Es capaz de deducir lo que se le pide y resolverlo.
Pero para qué discutir. Esto es como aquellos que en el 99 decían "¡¡yo nunca tendré un móvil!!"
No se de donde sacas eso... es como decir que los teléfonos móviles evolucionaron a una velocidad superior a la que te puedes adaptar...
No niego que hubo gente que tuvo problemas con el cambio del Nokia 3060 al smartphone, pero la mayoría de la gente se adaptó sin problemas.
Al igual que harán cuando les digan que no tienen que hacerse costosas pruebas diagnósticas ya que una IA, con una gota de sangre, ya es capaz de identificar la tira de enfermedades.
La gente se va a adaptar a toda velocidad, igual que se adaptó a las resonancias magnéticas, a los aviones y a las neveras.
Se harán cosas que nunca se pensó que se podrían hacer y la gente aprendió a trabajar con sistemas que ni se les había pasado por la cabeza que un día iban a utilizar.
Mi padre me contaba que tenían un ordenador PC en una habitación y les dejaban ir 2 horas a la semana por departamento... y él aprendió a hacer virguerías con el lotus 123 que le quitaba muchisimo trabajo de encima!
m.youtube.com/watch?v=UQmgKIWFnHc