Los modelos de lenguaje pueden explicar las neuronas en los modelos de lenguaje. [EN]

Usamos GPT-4 para escribir automáticamente explicaciones sobre el comportamiento de las neuronas en modelos de idiomas grandes y para obtener esas explicaciones. Lanzamos un conjunto de datos de estas explicaciones y puntajes ( imperfectos ) para cada neurona en GPT-2.

[#1 --113769--]

Algunos afirman que es un paso mágico, una especie de (previo a la) introspección. Un bucle en la inteligencia artificial. Una IA que explica como razona otra IA.

[#3 QRK]

#1 "Una IA que explica como razona otra IA"

Según entiendo yo, más bien es que las personas que lo desarrollan han añadido una funcionalidad para que el usuario pueda conocer los circuitos por los que va pasando el modelo, a la hora de hacer una predicción.

Para así saber por qué se ha optado por una respuesta y no por otra.

Tampoco es nada del otro mundo.

[#4 --113769--]

#3 han usado gpt4 para establecer textos que explican el disparo se neuronas concretas de gpt2. Y lo han extendido en un espacio grande de ejemplos. Son capaces de establecer una prediccion de textos qué explican esa activación.

Es como si pudiéramos analizar cuando se activa e interviene en una respuesta una neurona concreta de tu cerebro. Y lo hiciéramos en un montón de neuronas.

[#6 QRK]

#4 En resumen es lo que yo digo. Sólo una funcionalidad extra. Que tampoco aporta nada más allá de saber el camino de la predicción dentro de la red neuronal.

[#2 yurina]

Pues claro. Puedes preguntarle a una red de éstas cualquier cosa. Siempre te responderá con algo. No significa mucho.

[#5 --113769--]

como? No entiendo tu comentario