Los científicos de BitEnergy AI crearon un método llamado "Multiplicación de complejidad lineal" (L-Mul) que reemplaza las multiplicaciones complejas de punto flotante en los modelos de IA con sumas de números enteros más simples. El equipo probó su método en diversas tareas de lenguaje, visión y razonamiento, incluidas la comprensión del lenguaje, el razonamiento estructural, las matemáticas y la respuesta a preguntas de sentido común.
dx.doi.org/10.48550/arxiv.2410.00907 
Ya tenemos el arduino BLE y el sparkfun con tensorflow que funciona con pilas de botón, si consigues multiplicar su capacidad en algo tan simple y barato se podrán hacer virguerías sin conexión al cloud y aumentando la protección de información.
100 neuronas x 100 neuronas x 50 neuronas x 25 neuronas = 100 x 100 pesos en la primera capa, en formato lite de tensorflow y restingiendo tamaño (quantization) ocupa menos de un byte cada peso, más 100 x 50 y otros 50 x 25 más la final (ejemplo simple)… » ver todo el comentario
No me digas que no se necesita memoria para hacer inferencia en estos modelos porque llevo varios años peleándome en correr modelos de todo tipo en arquitecturas TFLite y TensorRT. Se ve que no has intentado nunca ejecutar nada en un Coral TPU con 8MB de SRAM conectado a una Raspberry, si no, te aseguro que no dirías que la memoria no se necesita para hacer inferencia.
PS: soy arquitecto y los proyectos de iluminación están muy optimizados.
En urbanización, hay normativas muy estrictas en cuanto a contaminación lumínica.
Aunque por ejemplo ahora los camiones llevan tanta iluminación que parecen árboles de navidad, aunque seguro que consumen menos en luz que antes ciertamente llevan más luz que nunca.
En sectores donde el coste energético ha limitado su desarrollo cuando ese coste energético se reduce es muy probable que se incremente su uso hasta volver a llegar al límite de coste energético anterior. Y la IA es un sector que está en esa fase, su consumo energético es ahora su limitante (están buscando comprar centrales nucleares).
Antes con 5 bombillas de 100W incandescentes iluminabas más o menos 5 estancias. Con 500 watios en leds tu casa la luminosidad supera a la Navidad de Vigo.
es una simplificación muy burda
Dudo mucho que ofrecer un aumento de su capacidad un 20% en el momento actual les reporte beneficios, ahora bien, bajar su consumo energético, les supone salvar sus cuentas, por lo que veo mas viable que lo dediquen a lo primero que a lo segundo.
Están en plena escalada de capacidades para ganarse un espacio en el mercado, están buscando como ampliar su consumo energético de forma barata planteándose comprar centrales nucleares.
En absoluto su prioridad es reducir costes, su prioridad es ganar la guerra comercial de la IA.
Dudo mucho que ofrecer un aumento de su capacidad un 20%
Yo he hablado de multiplicar por 20, que supone un aumento de "capacidad" del 1.900%, potencialmente que la IA sea un 1.900% más inteligente que ahora con el mismo consumo energético que el actual.
Pero si mi empresa pierde cientos de millones de euros al mes debido al consumo energético, hasta el punto de plantearme adquirir centrales nucleares para mitigarlo y al tiempo mantengo un equipo desarrollando las capacidades de la IA, yo al menos miraría ese ahorro con ojos golosos.
Lo que están haciendo es lo opuesto, están intentando comprar centrales nucleares para poder seguir usando la energía actual pero de forma más barata o incluso para poder consumir más por esa apuesta a futuro que están haciendo.
Si ahora les sale la oportunidad de ahorrar mucho dinero en energía o aumentar la velocidad de esa apuesta a futuro sin duda la mayoría elegirán lo segundo, ya que eso es lo consistente con lo que llevan haciendo hasta ahora.
Me sigue raspando que se afirme tan categóricamente esa postura.
Pero para mi resulta una conversación que no lleva a nada. Los responsables eligieran lo que consideren oportuno en función de lo que crean que va a mejorar su posición en el mercado. Y seguramente, los distintos actores tomaran distintas posiciones, en función de sus intereses, que no todo es OpenAi.
Por eso se usan algoritmos como el de Karatsuba
en.m.wikipedia.org/wiki/Karatsuba_algorithm
La suma de números flotantes tiene además problemas de pérdida de precisión y requiere otros algoritmos como el de Kahan
en.m.wikipedia.org/wiki/Kahan_summation_algorithm
A ver en qué queda el algoritmo. Potencialmente podría usarse para cualquier uso
Con lo único que has demostrado ser bueno fue con el bot
O la sopa de ajo.
¡a jugar!
#5 #12 os habéis pasado.
arstechnica.com/information-technology/2024/06/researchers-upend-ai-st
Como añadido, lo de MatMul-Free está muy restringido al caso concreto de los LLMs, mientras que lo que se está discutiendo aquí es muchísimo más genérico.
Subido al arxiv el 1 de octubre de 2024.
Nunca lees nada y lo que lees no lo entiendes.
Cc #20