Mira imagen de #37 ... Unos 2000/3000 eurillos cada GPU (no he mirado precios)
A mi con una de esas (prestada) me va lento de cojones. Unos 20 tokens/segundo con 32b.
Pero el modelo de 14b funciona bastante bien en una Nvidia de 8Gb. (tb unos 30 tokens)
A ver si la peña se entera de una vez que "ollama" ha estado mintiendo y que casi nadie está corriendo Deepseek-r1 en modo local! (se puede, pero se necesita un equipo con muchísima RAM/VRAM).
Pero sí esa era la idea
A mi con una de esas (prestada) me va lento de cojones. Unos 20 tokens/segundo con 32b.
Pero el modelo de 14b funciona bastante bien en una Nvidia de 8Gb. (tb unos 30 tokens)
NO es deepseek-r1, son "destilados".
A ver si la peña se entera de una vez que "ollama" ha estado mintiendo y que casi nadie está corriendo Deepseek-r1 en modo local! (se puede, pero se necesita un equipo con muchísima RAM/VRAM).
Me estoy cagando en ollama mucho!