Cuantificando las diferentes capas con diferente precisión, han hecho una reducción de hasta el 80% del tamaño del modelo manteniendo la funcionalidad.
Nota cultureta: la memoria se mide en GB (en mayúsculas, por Byte y no bit). No confundir con la velocidad de transmisión, que son gbps (en minúscula, por bits: gigabits por segundo).
Nota cultureta 2: además, la G de GB implica un multiplicador por 1024^3 (2^30) mientras que la g de gbps es un multiplicador de 10^9
#12 Doy fe. Tuve un Legion 5 con ryzen 7. Según el fabricante no se puede pasar de 32 GB (2x16 DDR4) y se tragó 2x32 con total normalidad. Muchas veces los fabricantes certifican lo que han probado en laboratorio antes de ponerlo a la venta, pero eso no quiere decir que no se puedan superar los límites.
#9 mira no me creas si no quieres creerme, pero suelen soportar mas ram por dimm de lo que viene en la documentación original. lo que si a lo mejor necesita actualizar la bios
Ojo que lo que si pasa es que hay versiones de windows que no admiten tanta ram
Link a los modelos en hugginface huggingface.co/unsloth/DeepSeek-R1-GGUF
Esto permitiría correr el modelo en un pc normal con 4 modulos de ddr5 de 48GBs cada uno, no es exactamente barato pero para mucha gente solo supondría cambiar la ram.
#4 Si la placa base es ddr5 y tiene 4 zocalos de ram debería valer cualquiera.
Es un Moe, solo se activan 37 de los 671b de parametros cada vez, no necesita tanto procesamiento, pero claro depende de las expectativas de cada uno. Y ojo que llama.cpp aun no esta optimizado para deepseek r1
Nota: No lo he probado, mi ordenador ni se asoma a los requisitos, lo mando por que me parece de interés de muchos de por aquí
#1 ...y hace posible modelos mucho más completos con 64 GB de RAM haciéndolo útil, para muchas tareas, con un simple portátil. Y es la primera iteración. Seguramente podrán mejorarlo.
Nota cultureta: la memoria se mide en GB (en mayúsculas, por Byte y no bit). No confundir con la velocidad de transmisión, que son gbps (en minúscula, por bits: gigabits por segundo).
Nota cultureta 2: además, la G de GB implica un multiplicador por 1024^3 (2^30) mientras que la g de gbps es un multiplicador de 10^9
Y solo admite 128gb.
Ojo que lo que si pasa es que hay versiones de windows que no admiten tanta ram
No es tan bonito.
Esto permitiría correr el modelo en un pc normal con 4 modulos de ddr5 de 48GBs cada uno, no es exactamente barato pero para mucha gente solo supondría cambiar la ram.
El problema ya no es "contenerla" si no que se ejecute a una buena velocidad.
Es un Moe, solo se activan 37 de los 671b de parametros cada vez, no necesita tanto procesamiento, pero claro depende de las expectativas de cada uno. Y ojo que llama.cpp aun no esta optimizado para deepseek r1
Nota: No lo he probado, mi ordenador ni se asoma a los requisitos, lo mando por que me parece de interés de muchos de por aquí