cultura y tecnología
197 meneos
562 clics
Un nuevo algoritmo podría reducir los requerimientos energéticos de los sistemas de IA hasta en un 95 por ciento (eng)

Un nuevo algoritmo podría reducir los requerimientos energéticos de los sistemas de IA hasta en un 95 por ciento (eng)

Los científicos de BitEnergy AI crearon un método llamado "Multiplicación de complejidad lineal" (L-Mul) que reemplaza las multiplicaciones complejas de punto flotante en los modelos de IA con sumas de números enteros más simples. El equipo probó su método en diversas tareas de lenguaje, visión y razonamiento, incluidas la comprensión del lenguaje, el razonamiento estructural, las matemáticas y la respuesta a preguntas de sentido común. dx.doi.org/10.48550/arxiv.2410.00907

| etiquetas: algoritmo , consumo , energético , l-mul , multiplicación complejidad lineal
95 102 3 K 411 tecnología
41 comentarios
95 102 3 K 411 tecnología
Comentarios destacados:        
sorrillo #1 sorrillo
O potencialmente que con el mismo consumo energético que el actual puedan multiplicar por 20 sus capacidades.
18 K 151
Robus #2 Robus *
#1 Efectivamente, yo lo veo como una posibilidad de Edge-AI que requiera un consumo muy pequeño de energia.

Ya tenemos el arduino BLE y el sparkfun con tensorflow que funciona con pilas de botón, si consigues multiplicar su capacidad en algo tan simple y barato se podrán hacer virguerías sin conexión al cloud y aumentando la protección de información.
6 K 62
rojo_separatista #29 rojo_separatista
#2, habla de consumo en términos de energía, no en términos de memoria que es un limitante tanto o más importante para los Edge devices.
0 K 12
Robus #37 Robus
#29 para hacer inferencia no necesitas memoria.
0 K 11
rojo_separatista #38 rojo_separatista *
#37, cómo que no? Para hacer inferencia tienes que cargar el modelo en memoria.
1 K 15
Raziel_2 #3 Raziel_2 *
#1 Si hasta ahora en todos los campos donde se ha conseguido ahorrar energía o sustituir la fuente por renovables solo ha servido para aumentar su consumo, en esto no va a ser diferente.
6 K 54
capitan__nemo #6 capitan__nemo *
#1 paradoja de Jevons
7 K 65
d5tas #39 d5tas
#6 venía a eso. Si consiguen esa eficacia apuesto que el consumo energético de las IAs aumenta un 50% como mínimo.
0 K 6
#7 kaotan
#1 El número 20 es justo el que recuerdo. Al sustituir las sumas actuales por una función más compleja, aunque fácil de calcular, es necesario 20 veces más entrenamiento de la red neuronal para alcanzar los mismos resultados actuales.
0 K 10
caramelosanto #11 caramelosanto *
#7 o sea que lo que ahorras por un lado se gasta por otro? O entendi cualquier cosa?
0 K 6
borre #14 borre
#11 Cómo las luces led. Lo que ahorras en gasto... lo gastas en más energía :-P
0 K 11
BM75 #19 BM75
#14 Explica eso...
0 K 7
Dramaba #26 Dramaba
#19 Suele pasar que, como te ahorras pasta con las leds, pones muchas más. Al final, tienes el mismo gasto pero con mucha más contaminación lumínica...
1 K 8
BM75 #28 BM75 *
#26 No me parece para nada que eso pase.

PS: soy arquitecto y los proyectos de iluminación están muy optimizados.
En urbanización, hay normativas muy estrictas en cuanto a contaminación lumínica.
0 K 7
Dramaba #30 Dramaba
#28 Es más una sensación personal que otra cosa. Y noticias como la del alcalde de VIgo solo hacen que persista esa sensación.
0 K 10
BM75 #32 BM75
#30 Es un caso muy muy muy anecdótico...
0 K 7
caramelosanto #33 caramelosanto
#19 doy fe, pasamos a led y ahora tengo mas luces philips hue que todas las bombillas que tenia antes de la revolución del led en mi vida juntas y prendidas al mismo tiempo.
0 K 6
BM75 #40 BM75
#33 Pues muy mal. Allà tú con tu consumo innecesario...
0 K 7
#18 memelada *
#1 no, que a implique b no significa que b implique a.

es una simplificación muy burda
0 K 6
LaInsistencia #27 LaInsistencia
#18 Te lo voy a explicar de otra forma: "si antes podiamos pagar 15 millones de dolares al mes en electricidad, el mes que viene seguiremos pudiendo gastar los mismos 15 millones. Si antes dabamos de comer a 1.000 ordenadores con eso, ahora podremos dar de comer a 20.000. Voy empezando a pedir presupuesto para ampliar el datacenter...".
0 K 6
#23 Jesucristo_cazavampiros *
#1 por lo que yo entiendo, no. De hecho, con el hardware especializado actual este algoritmo ahorraria energia pero tanto el entrenamiento como la inferencia serian mas lentos (3 ciclos de reloj vs 1 por operacion). Por lo que a no ser que se fabrique hardware especializado para esta operacion no merecera la pena, y a las grandes empresas que poseen cientos de millones de dolares invertidos en hardware actual no les va a interesar.
0 K 6
sxentinel #24 sxentinel
#1 Económicamente creo que ahora mismo, les interesa gastar menos que aumentar las capacidades de la IA, las empresas del gremio están perdiendo pastas precisamente por eso a raudales...

Dudo mucho que ofrecer un aumento de su capacidad un 20% en el momento actual les reporte beneficios, ahora bien, bajar su consumo energético, les supone salvar sus cuentas, por lo que veo mas viable que lo dediquen a lo primero que a lo segundo.
0 K 10
sorrillo #25 sorrillo *
#24 les interesa gastar menos que aumentar las capacidades de la IA

Están en plena escalada de capacidades para ganarse un espacio en el mercado, están buscando como ampliar su consumo energético de forma barata planteándose comprar centrales nucleares.

En absoluto su prioridad es reducir costes, su prioridad es ganar la guerra comercial de la IA.

Dudo mucho que ofrecer un aumento de su capacidad un 20%

Yo he hablado de multiplicar por 20, que supone un aumento de "capacidad" del 1.900%, potencialmente que la IA sea un 1.900% más inteligente que ahora con el mismo consumo energético que el actual.
0 K 13
#35 Menudajefa
#1  sería impresionante!!! 
0 K 6
sieteymedio #41 sieteymedio
#1 Va a ser eso.
0 K 10
#9 Grahml
Le darán una silla al esclavo que responde las preguntas del pringao que se cree que es el software el que le está respondiendo, y arreglado.
1 K 29
caramelosanto #13 caramelosanto *
#9 al indio que maneja los autos en San Francisco. Esos que de vez en cuando los trollean a todos desde el call center cuando saturan un punto en particular.
0 K 6
frg #17 frg
Ahora otra noticia de la batería mágica semanal y otra que mencione grafeno y cantamos bingo, "fapbingo" :foreveralone:
1 K 20
kavra #21 kavra
#17 una batería de grafeno diseñada por IA que si te la frotas te cura el cancer....
0 K 9
mjmx #34 mjmx
#17 #21 ¿y los gatos? ¿Es que nadie piensa en los gatos?
1 K 18
LeDYoM #31 LeDYoM
Han inventado la aritmético en punto fijo.
O la sopa de ajo.
0 K 10
Acuantavese #4 Acuantavese
95% ... ya, hagan sus apuestas señores
0 K 9
sorrillo #5 sorrillo
#4 94,8%
0 K 13
caramelosanto #12 caramelosanto
#5 93,333333% que me gané?
0 K 6
mecha #16 mecha
#4 a ver quién se acerca más al ahorro exacto, pero sin pasarse. Quién acierte la cifra exacta gana una IA.
¡a jugar!

#5 #12 os habéis pasado.
0 K 7
OrialCon_Darkness #8 OrialCon_Darkness
Esto sin duda, bajará los precios de toooooodas las páginas creadas para hacer deepfakes :troll:
0 K 8
Torrezzno #22 Torrezzno
Toda multiplicación es una serie de sumas y no por eso es más eficiente. Requiere muchos más ciclos de computación.

Por eso se usan algoritmos como el de Karatsuba

en.m.wikipedia.org/wiki/Karatsuba_algorithm


La suma de números flotantes tiene además problemas de pérdida de precisión y requiere otros algoritmos como el de Kahan

en.m.wikipedia.org/wiki/Kahan_summation_algorithm


A ver en qué queda el algoritmo. Potencialmente podría usarse para cualquier uso
0 K 8
ccguy #10 ccguy
Esto ya es viejo (en el mundo IA), "noticia" de hace 4 meses... ejemplo

arstechnica.com/information-technology/2024/06/researchers-upend-ai-st
1 K 2
coderspirit #20 coderspirit *
#10 No tiene absolutamente nada que ver lo uno con lo otro. Lo que tu enlazas está enfocado a reemplazar las multiplicaciones de matrices. Lo que ha llegado a portada hace unas horas sustituye las multiplicaciones de números individuales.

Como añadido, lo de MatMul-Free está muy restringido al caso concreto de los LLMs, mientras que lo que se está discutiendo aquí es muchísimo más genérico.
3 K 36
onainigo #36 onainigo
#10 dx.doi.org/10.48550/arxiv.2410.00907
Subido al arxiv el 1 de octubre de 2024.

Nunca lees nada y lo que lees no lo entiendes.

Cc #20
2 K 41

menéame