Estudio enfrenta a grupos de médicos con ChatGPT4 en procesamiento y razonamiento clínico. La IA superó a todos con una puntuación de 10

Un grupo de investigadores científicos del Centro Médico Beth Israel Deaconess compararon las capacidades de razonamiento de un modelo de lenguaje grande (LLM) directamente con el desempeño humano utilizando estándares desarrollados para evaluar a los médicos. Los resultados arrojaron pocas dudas: ChatGPT-4 superó a los residentes de medicina interna y a los médicos tratantes de dos centros médicos académicos en el procesamiento de datos médicos y la demostración de razonamiento clínico. Al contrario de lo que pueda parecer,es una buena noticia

[#15 GuillermoBrown]

#4 Yo prefiero que me atienda un médico humano, y si además usa una IA como herramienta, pues mejor.
Pero una IA o una máquina ella sola, sin la supervisión de un médico humano, NO GRACIAS.

[#21 Artok]

#15 es más caro así, un humano vale una pasta. Imagino que la privada lo implantaría así a futuro.

Si te dicen que solo ia en medicina y que te suman 100 euros al mes a tu renta universal, lo aceptarías?

[#22 GuillermoBrown]

#21 Si mi bolsillo me lo permite, mi salud es lo primero.
O sea, que si puedo, prefiero médico humano + IA.

[#30 Gotnov]

#22 Si en el futuro los pacientes atendidos por IA mueren/padecen un 25% menos te pasarías a IA?

[#32 GuillermoBrown]

#30 Me paso al que me dé mejores números, tanto si es médico + IA, como si es IA sola.
Pero sin conocer los números, confío más, a priori, en médico + IA.

[#86 abuelillo]

#32 A mi me vale cualquier cosa excepto lo de ahora, que te atienda un enfermero o enfermera sin IA , porque no se contratan suficientes medicos.

[#33 systembd]

#30 Eso me recuerda al médico de Subnautica (que ocurre miles de año en el futuro), lamentando que no puede curarse porque "lo único que aprendió en la facultad de medicina era a mentir convincentemente, porque las operaciones quirúrgicas las llevaban a cabo robots".

[#41 Kipp]

#33 También dramatizaba demasiado porque realmente decía que le habían contratado un poco sin tener en cuenta su formación porque en subnautica parece que hay médicos con conocimientos prácticos y consultores sanitarios que saben de papeleo que es lo que denuncia el tío, que él de leer diagnósticos muy bien pero que los que sabían hacer cosas eran los de la especialidad de al lado.

[#57 girombo]

#21 Si te da un cáncer, quién o qué prefieres que te dé la noticia?

No olvidemos que la IA se alimenta del conocimiento generado por humanos. Sin ellos, no es nada. Quedarse solo con la IA paralizaría el avance de la ciencia medica y convertiría una enfermedad hoy incurable en permanentemente incurable.

Como herramienta de apoyo vale, pero como sustituto como que no.

[#97 lectorcritico]

#3 Muchos medicos no se rompen la cabeza y si hay un diganostico annterior lo asumen sin analizar nada mas y si pides unasegunda opinion es inutil porque no contrastan nada.
Un chatgpt puede servir para que medicos inutiles pasen mas desapercibidos diciendo a todo que si.

Las segundas opiniiones deberian ser a ciegas sin mirar el historial o el dignostico del medico anterior, para ver si la conclusion es la misma sin ver la anterior.

Si a esto le suman la falta de tiempo para dedicar al…   

[#102 Acido]

#97
Gracias por mostrarme que las máquinas traducen "median" como "mediana".
No me lo imaginaba, la verdad, ya que no significa eso y he comprobado en diccionarios que el significado que aparece es "mediana"... aunque un "diccionario" (WordReference) en último lugar (quinto o sexto) dice que a veces se usa con el significado de "media".

Probé en ChatGPT y me lo tradujo como "puntuación media de 10 sobre 10". Luego le dije que cuál…   

[#46 Ludovicus]

#15 Eso mismo dije yo el otro dia.Como apoyo vale, pero no como único recurso y quien toma la decisión....

[#50 MataGigantes]

#15 Que te atienda una IA supondrá, a parte de un porcentaje de acierto en el diagnóstico superior a la media humana, la atención prácticamente inmediata.
Si actualmente, supongamos que te preocupa un lunar con mala pinta, tendrás que esperar unos 3-5 días para que te den cita en el médico de cabecera, y que luego tras estar esperando una hora en sala de espera, este te atienda y te derive al dermatólogo en 3 meses, quizás 6 meses o más en algunos casos.
En el caso de la IA en el mismo momento…   

[#52 rojo_separatista]

#15, #39, creo que nos cuesta interiorizar que los modelos de IA que tenemos ahora no solo son los mejores que hemos tenido hasta ahora, sino los peores que tendremos de ahora en adelante. Que hoy se esté discutiendo si es mejor un médico humano o una IA significa que es muy probable que dentro de 10 años no haya debate en favor de la IA.

[#56 chavi]

#52 No, no "se está discutiendo", simplemente hay algunos haciendo márketing

[#60 yemeth]

#52 En apenas un año y pico hemos visto cómo en las IAs que diseñan el discurso que se resiste que empezó tomándolas como un meme gracioso, pasó a hablar de sus fallos (como los muchos dedos) y a medida que se van perfeccionando están pasando al "pero los resultados no tienen alma".

Un poco como una amante de la literatura que me decía que ChatGPT escribía cosas muy inocentonas y nunca podría ser un gran literato. Ya, sí, eso el ChatGPT 3.5 de 2023.

[#66 rojo_separatista]

#60, a medida que van viendo la batalla perdida todo ha terminado por pivotar entorno a la ética del entrenamiento, como si los seres humanos no aprendiesemos a través de ejemplos.

[#72 yemeth]

#66 Toda la razón con la ética del entrenamiento, que además de absurdo como dices (ya que nosotros aprendemos igual) acaba siendo un abrazo reaccionario al Copyright.

[#90 El_perro_verde]

#66 A ver, me parece genial que todos los ojos estén puestos en la ética detrás del desarrollo técnico de las IAs, tienen un potencial creador brutal, pero también un potencial destructor increíble si se desarrollan mal.

[#96 rojo_separatista]

#90, sí, pero este no es el punto, yo me refiero a si es legítimo o no tener que pedirle permiso al autor de una obra para que se pueda entrenar con ella, eso no tiene nada que ver con el potencial destructor.

[#89 El_perro_verde]

#60 Bueno, y además me puede parecer bien aceptar que los humanos a lo mejor tenemos una creatividad distinta o "alma" a la hora de crear arte subjetivo, pero vamos, es que también es tener unas expectativas absurdas, a mí sinceramente con que sean fiables con las cosas objetivas como las ciencias, en éste caso los diagnósticos médicos, me parece ya un avance brutal

[#103 yemeth]

#89 De todos modos es que lo de "lo que produces con IA no tiene alma" asume que solo le has dado al botón. Yendo al extremo contrario a "darle al botón", si has entrenado LORAs para hacer personajes coherentes con Stable Diffusion y has ido haciendo distintas poses y haciendo yoquesé, un cómic, ¿por qué no iba a tener "alma"?

Si has pensado una historia y has pedido a ChatGPT un brainstorming de ideas a partir del cual has ido refinando, ¿por qué no iba a tener "alma"?

Creo que el error es, de nuevo, considerar que el humano está a un lado y la IA al otro.

[#63 ne0x]

#15 tranquilo, los tik toks de l@s enfermer@s no los puede sustituir ninguna IA

[#64 sonix]

#15 jaja pues yo estoy dudando si es mejor que te atienda un medico o una Thermomix

[#2 LordNelson]

Uno de los caminos para solucionar la falta de médicos es la IA, no me cabe duda

[#4 exeware]

#2 a mi si, al menos a corto plazo, house lo decía todo el mundo miente, y las ia actuales no detectan o sospechan sobre mentiras te dirán un diagnóstico si o si

[#6 yarkyark]

#4 Cierto. Y no pasa solo en medicina. En informática ni te cuento. El "Yo no he tocado nada" daría para escribir varios libros.

[#29 knzio]

#6 "cuando llegué ya estaba así"

[#37 Kipp]

#29 "Era mi primerito día"

[#68 Coronavirus]

#37 "en mi docker funciona"

[#71 Trompi]

#68 Grande! si me dieran un dolar.... jaja

[#16 Psignac]

#4 Se puede programar una IA para que sopese que se haya dicho una mentira también, usando exactamente los mismos criterios que empujan a un médico a pensar que les están mintiendo.

[#25 ChatGPT]

#4 si es solución a corto imaginate a medio o largo!

[#83 El_perro_verde]

#4 Ese es el problema, que se creen los datos tal cual, si mientes o te equivocas no se da cuenta y un medico humano si. Yo con la IA tengo una opinión muy clara: es una herramienta, no un sustituto, va a servir para dar un diagnóstico inicial y que un medico tarde la mitad en hacer su trabajo y con menos errores, pero no es un sustituto de un médico.

[#101 exeware]

#83 esta claro puede darte un abanico de opciones...

[#8 blodhemn]

#2 Bueno En EE. UU. , ya desde el Doctor Watson, no están pensando precisamente en solucionar la falta de médicos, sino en darles una patada en los huevos porque las aseguradoras tienen que pagar auténticas burradas por casos de negligencias médicas.

[#35 chavi]

#8 Y si la negligencia la comete una IA quién paga?

[#38 Quorthon]

#35 Esa es la razón por la que veo a la IA más como una herramienta que como un sustituto de los médicos.
Un medico con esa ayuda puede hacer mucho bien, y ne menos tiempo. ( incluso si la IA le orienta en que pruebas hacer para descartar cosas)....

Pero la decisión final la tomará un medico humano, sino el responsable seria la entidad y teniendo en cuenta que los mas interesados en esto van a ser las privadas (por lo de pagar menos sueldos) no van a querer ser los responsables directos de una negligencia...

[#91 El_perro_verde]

#38 Ese es el tema, la responsabilidad siempre tiene que ser de un humano o una empresa, pero en estos casos lo importante es saber quién paga en caso de cagada, por eso lo veo como una herramienta, que la IA de un diagnóstico y el medico lo supervise, y en caso de error la culpa es del médico, la IA puede cometer errores

[#39 yemeth]

Al final el estudio apunta creo que a lo que vemos cuando utilizamos ChatGPT de manera profesional:

Sin embargo, no todo fue perfecto para la IA. En el estudio se encontró que el chatbot también estaba “simplemente equivocado”: tenía más casos de razonamiento incorrecto en sus respuestas, significativamente más a menudo que los residentes, encontraron los investigadores.
Dicho de otra forma, el hallazgo subraya la noción de que la IA probablemente será más útil, al menos en el corto plazo,

…   

[#55 chavi]

#39 Exacto. Tengo la misma experiencia

[#93 El_perro_verde]

#39 Eso es, s la hora de programar ahorra tiempo, pero como no sepas lo que estás haciendo y le des tú la forma final estás jodido, pues con ésto igual, te sirve de primera aproximación al problema, te ahorra el 90% del tiempo y tiene datos que tú seguramente no tengas o no recuerdes, pero ls Ultima palabra tiene que ser de un profesional

[#69 earthboy]

#8 No es por pagar las negligencias de los medicos. Es para gastar menos y ganar más dinero.
Ese tipo de basura subhumana funciona así.

[#75 Pingocho]

#8 Como si las IA no se equivocaran Si todas ponen bien clara la advertencia de que no te tomes muy en serio sus soluciones.

[#14 Abajo]

#2 Pero el siglo que viene y como los necesitamos a corto plazo, hay que contratar médicos.

[#31 borre]

#2 ¿Seguro que hay falta de médicos? ¿O es más una razón económica?

[#34 Dakxin]

#31 en España no se. En Centroeuropa faltan, y muchos

[#42 Kipp]

#34 #31 Os confirmo yo que faltan, faltan muchísimos.

[#1 awezoom]

Brutal la imagen hecha con IA dentro del artículo con esa paciente sin tronco superior...

[#3 txepel]

#1 ChatGPT: este hombre está muerto.
Médico: espera… (le toma el pulso, le da un golpecito en la rodilla, consulta apuntes) ¡Es cierto!

[#40 xkill]

#3 dale la vuelta, que el que lo que ha hecho la IA es a una persona sin pertenecer superior.
La IA sería la que diría, a ver el pulso = no hay pulso... respira: no se sabe = no se puede derminar si esta vivo o no, temperatura 35 = hipotermia. Resultado:

Si una persona no tiene pulso, no se puede determinar si está respirando y su temperatura corporal es de 35ºC, es crucial actuar rápidamente:

1. Llamar a los servicios de emergencia: Marca el número de emergencia de tu país para solicitar…   

[#85 JuanAnton]

#40 Dale una vuelta a tu comentario porque el que ha diseñado la AI no tiene nada que ver con su base de aprendizaje que es todo internet básicamente.

La AI es una fórmula matemática muy compleja que aprende de sus propios errores.

Lo que acabas de de diciendo es como culpar al inventor de la las hojas de cálculo (Dan Bricklin) por todos los errores que han cometido las personas que usan hojas de cálculo.

Quizás estoy equivocado pero pero solo puedo relacionar tu comentario con los comentarios de los políticos que no tienen ni idea de lo que dicen.

Te pido disculpas por adelantado por ser tan directo.

[#104 xkill]

#85 básicamente he puesto una respuesta de ChatGPT. Asi que si no tiene sentido, apuntaselo a ChatGPT

[#7 xantal]

#1 ¿Dónde habrá visto la IA cuerpos desmembrados?

[#76 Dovlado]

#7 En Gaza.

[#100 listillo]

#7 había una web con fotos de cadáveres... no recuerdo como se llamaba...

[#10 borteixo]

#1 material para tus pesadillas

[#27 knzio]

#1 están haciendo el truco del serrucho

[#78 Dovlado]

#1 CuñaoGPT4 ahora también sabe de medicina, como no.

Yo desde que conseguí que me asegurase que el Celta había ganado dos copas del Rey dejé de perder el tiempo con ese tamagochi del siglo XXI.

[#82 El_perro_verde]

#78 Ya, a mí me pasó igual, desde que le pregunté a mi sobrino de 4 años y no se sabía bien el abecedario decidí que era idiota, ahora tiene 25 y una ingeniería, pero a mí no me engaña, que se le vio el plumero

[#113 Dovlado]

#82 Hazle una prueba en la cena de Navidad. Si sale con los chemtrails, qué Perro Sanxe está secando los pantanos, qué los extranjeros vienen a robarnos el pan o no puede ir porque está preocupado con que le okupen la casa es que está al nivel de CuñaoGPT.

[#106 awezoom]

#78 para cuñao tu comentario, vaya tela. No te puedes fiar de que te cuente datos históricos porque alucina, pero para el resto de cosas es acojonante.

[#24 XtrMnIO]

Pues verás cuando la IA juzgue mejor que los jueces.

Por lo menos mejor que los españoles, y más rápido.

[#43 Kipp]

#24 El problema no está en los jueces o no siempre... Sino en las leyes.

[#47 Trochador]

#24 jajaja, eso no lo van a implementar nunca, a no ser que puedan crear una IA Castellón.

[#49 sovieterrimo]

#24 Eso pensaba yo, el día que la IA sustituya a los jueces el estado de derecho avanzará de forma considerable.

[#99 oliver7]

#24 no te digo ya cuando gobiernen... Aunque esto nunca lo permitirían.

[#20 shapirowilks]

¿Alguien me puede explicar por qué saca una puntuación de 10 sobre 10, si el mismo artículo dice que la IA se equivoca a significativamente más que las personas? O hay algo que no estoy entendiendo, o no se explica bien, o no puede ser 10 sobre 10.

[#28 fpove]

#20 Porque el articulo lo ha escrito una IA.

[#65 Acido]

#20

Hay un error de traducción en el artículo meneado.
Y me parece que es error humano, ya que ese error no es el típico que cometería una máquina.

He buscado artículos en inglés y dice:
"a median score of 10 out of 10"

Eso significa "una mediana de puntuación de 10 sobre 10". (o bien "puntuación mediana")
El artículo dice "media", que es una traducción incorrecta.

Efectivamente, una "media" de 10 sobre 10 solo se puede…   

[#17 rojo_separatista]

#13, quien no haya cuñadeado nunca que tire la primera piedra.

[#5 Lonnegan]

Como te den un diagnóistico cuñao.. verás...

[#9 rojo_separatista]

#5, de eso va el artículo, o cuñadean menos que los médicos humanos o los exámenes de evaluación están mal planteados.

[#13 Lonnegan]

#9 Entonces es mi comentario el que merece el título de cuñadez

[#36 chavi]

#9 Me inclinó por lo segundo. Obtuvieron solo lo que buscaban obtener

[#45 rojo_separatista]

#36, entonces tenemos que rehacer la forma en que evaluamos los conocimientos de los estudiantes de medicina.

[#54 chavi]

#45 No, entonces hay que hacer las cosas bien en lugar de operaciones de marketing

[#67 rojo_separatista]

#54, si la IA saca mejores notas que los seres humanos en los exámenes para evaluar el grado de conocimiento en una área en concreto, o asumimos que estos exámenes no son válidos para evaluar el conocimiento o asumimos que la IA tiene un grado de conocimiento similar al de los expertos en cada campo en que lo logre. No hay muchas más opciones desde el punto de vista científico.

[#73 chavi]

#67 La IA tiene un "grado de conocimiento" 0.

Repetir como un loro no es conocimiento, aunque se hagan pequeñas variaciones sobre lo repetido.

Quien tiene un "grado de conocimiento" mayor, tú o la Wikipedia?

[#79 rojo_separatista]

#73, es que un examen que se base en repetir como un loro es una basura de examen. Espero que mi vida nunca dependa de un médico que ha sido evaluado en pruebas que consistan en repetir como un loro y confio que en las facultades de medicina no se hace así. Por eso digo, que fijémonos en cómo se evalua a cada experto de distintas áreas del conocimiento y evaluemos de la misma manera a los modelos de lenguaje y luego comparemos los resultados, si estas pruebas se basan en razonar en lugar de repetir como un loro, si tu tesis de que los LLM no tienen capacidad de razonar deberían sacar un 0. ¿O se te ocurre otra forma mejor de poner a prueba el grado de conocimiento de estos modelos?

[#81 chavi]

#79 No tienen ninguna capacidad de razonamiento. Y me lo demuestran todos los días

[#84 rojo_separatista]

#81, lo que a ti te demuestre puede ser muy interesante para tus vivencias subjetivas, pero debemos pensar en algo medible, cuantificable, replicable y comparable para llegar a esta conclusión de forma científica, no crees?

[#88 chavi]

#84 No hombre. Algo que te dice que 81 es múltiplo de 8 sin despeinarse, mucho no razona....

Es obvio que no es una respuesta a una pregunta directa, pero ahí está de todos modos.

Eso no es una "vivencia subjetiva"

Si, chatGPT.

[#92 rojo_separatista]

#88, vale, vamos acotando, ahora ya voy entendiendo a qué te refieres. Le he preguntado a GPT-4 y me dice que no. ¿Significa que razona o movemos la portería?  

[#94 chavi]

#92 No hombre. No es una pregunta directa.

Simplemente fué parte de su argumentación de la respuesta. Y como eso mil. No tiene ningún problema de decir una cosa y la contraria en la misma frase.

Tú imagen demuestra que en realidad no "sabe" lo que dice. Es un excelente modelo de lenguaje con una buena base de datos de internet.

Podrían por lo menos aplicarle un motor de inferencia lógica que existe desde hace 50 años para que no diga estupideces tan a menudo.

[#95 rojo_separatista]

#94, si me dices exactamente qué le preguntaste para que te respondiese esto estaré encantado de probarlo.

Y cuidado, no digo que no falle, lo que digo es que cada vez falla menos. GPT-4 falla mucho menos que GPT-3 y a la vez falla mucho más de lo que fallará GPT-5, en eso se basa el progreso técnico científico, en lugar de decir "esto falla aquí y por lo tanto es un 0", en intentar hacer cosas cada vez mejores, en el caso de las IAs hacerlas cada vez más inteligentes, por eso necesitamos métodos de evaluación objetivos y comprobables no opiniones personales como la tuya o como la mía que aunque valiosas pueden estar sesgadas.

[#109 chavi]

#95 El problema no es que "falle". El problema es que da respuestas sin coherencia lógica

[#98 rojo_separatista]

#94, por cierto ahí va otra prueba, le he preguntado si es múltiplo de dos números arbitrariamente grandes y lo ha hecho bien. Una de dos, o en el dataset de entrenamiento está la frase literal sobre si es múltiple o no de todos los números imaginables para que pueda copiarla como un loro cuando le haces la pregunta, cosa que es evidentemente absurda o realmente sabe como utilizar el modulo de cálculo para hacer la operación y responder a esta pregunta correctamente.  

[#108 chavi]

#98 Uau. Que impresionante. Hace algo que hace cualquier programa desde que se inventó la.programación.

El problema es que a pesar de eso en otros contextos no hace eso bien. Porque no "sabe" nada.

Es un modelo de lenguaje

[#19 noexisto]

Al fin las carreras médicas en Estados Unidos bajarán un 90%! (O no?)

[#11 Spider_Punk]

Esa misma efectividad para curarnos la tendrá para exterminarnos cuando se descontrole y tome consciencia de si misma.

[#12 xantal]

#11 cuanto daño ha hecho Hollywood

[#51 geralt_]

#12 No olvidemos a Ojete Calor: youtu.be/QMgSELBA7kw

[#61 starchild]

#51 Tampoco debemos olvidar a José Mota Vs. IA humana

youtu.be/mUFoHThw4Rc?feature=shared

[#74 armadilloamarillo]

Titular "jugosito" (como no), luego lees el artículo y ves que no es para tanto.

Lo malo de todo esto es que mucha gente se queda en los titulares y acaba teniendo una perspectiva del tema que no coincide con la realidad.
Con este tema y casi que con todos, los medios de información se han convertido en medios de exageración, todo se amplifica en una dirección u otra para poder captar la nula capacidad de atención de su audiencia.

No queremos informarnos, queremos "sentir algo"

[#18 Robus]

Al contrario de lo que pueda parecer,es una buena noticia

¿cómo que al contrario de lo que pueda parecer?!

[#23 rojo_separatista]

#18, mucha gente ve los avances en IA como una amenaza, un escenario en el que todo nuestro trabajo pueda ser sustituido por IAs y robots se ve como una distopía, en realidad esto habla muy mal del sistema en que vivimos, que nos ha hecho asumir que hay que vivir encadenados a un trabajo sí o sí para no morirnos de hambre.

[#87 Azrapse]

#23 Es que la principal queja no es que las IAs quiten el trabajo esclavo, sino que quiten el trabajo vocacional.
En lugar de hacer IAs que limpien culos a viejos, desatranquen cloacas, cultiven y recogan cosechas, minen cobalto, etc, lo que están haciendo las IAs es los trabajos intelectuales tipo médico, escritor, ilustrador, audiovisual. Trabajos que se hacen tras muchos años de preparación, vocación, y creatividad.

Y es así porque símplemente es más fácil. Todo lo que sea procesar…   

[#26 Escheriano]

La IA no recomendó la copita de vino en la cena o las galletas con grasa de palma en el desayuno?

[#70 caramelosanto]

#26 fue una alucinación de la IA

[#77 Elektr0]

Con el nivel tan bajo que he visto en la medicina española creo que hasta Alexa puede superar el nivel de los médicos que conocido.

[#119 HanSoloyAzucar]

#77 es mundial.

[#62 Anahera]

El elefante en la habitación. Por fin empieza a salir a la luz. Los médicos tienen los días contados (no los cirujanos). ¿Qué hace un médico?

- Pide pruebas
- Analiza los resultados
- Genera un tratamiento.

Con el tiempo...

- Más pruebas.
- Más resultados
- Continuar/cambiar tratamiento.

1+1... 7

[#120 HanSoloyAzucar]

#62 los medicos y su trabajo esta mas sobrevalorado que el propio chatgpt

[#80 Ulashikali]

Errónea o sensacionalista. ChatGPT es un modelo predictivo de lenguaje, no razona de ninguna manera. Sólo te saca la palabra más probable a continuación de la anterior, según su configuración y el contexto.

[#58 anthk]

Ahora que lo repitan con CLIPS, ese lenguaje de sistemas expertos

[#48 Joice]

Sacarán una versión específica de la IA, más engreída y corporativista, que ya enviará directamente al ostracismo al colectivo médico.

[#53 CALMAS]

Seres de luz golpeando a las pantallas

[#59 wkynrocks]

Vamos que lo único que tiene que hacer un médico hoy día es hacer pruebas, sacar sintomas y operar.

[#121 HanSoloyAzucar]

#59 exacto. Si lo piensas no saben curar nada, solo diagnosticar de mil formas y si algo no les gusta lo arrancan o lo destruyen.