Vamos a explicarte cómo instalar DeepSeek en tu ordenador, para poder utilizarlo cuando quieras. Hay varias maneras de hacerlo, pero nosotros vamos a intentar recurrir a una de las más sencillas que sean posibles, y que funcione tanto con Windows como con macOS y GNU Linux. Para eso, vamos a recurrir a un programa que se llama Ollama, y que sirve para poder instalar distintos modelos de inteligencia artificial y lanzarlos en tu ordenador. Entre ellos está DeepSeek. Se instala como una aplicación normal, aunque su utilización es un poco...
|
etiquetas: instalar , deepseek , ordenador , forma , local 
Ollama no puede correr aun Deepseek, es un model de 600 gigaparametros y todavia no han subido las cuantizaciones a 2 bits huggingface.co/unsloth/DeepSeek-R1-GGUF que es lo unico que podrias ejecutar en una sola maquina.
Ollama no puede correr aun Deepseek, es un model de 600 gigaparametros y todavia no han subido las cuantizaciones a 2 bits huggingface.co/unsloth/DeepSeek-R1-GGUF que es lo unico que podrias ejecutar en una sola maquina.
Me estoy cagando en ollama mucho!
FALSO. Al menos he visto un par probando la versión 14b (y yo la 32b funcionando)
#46 (en un A10 24G VRAM)
Deepseek R solo tiene un modelo, el de 671B. Que cabe en una maquina con un tera de RAM pero muy rapido no va a ir (luego te digo). Han sacado versiones cuantizadas ya los que suelen hacer los GGUF, pero esas no son las que tienen ahi.
Te molesta, pues lo haces privativo como OpenIA. Evitas confusiones y ni siquiera tienes que dar explicaciones.
Si no te gustan los GGUF para uso local en PC, no los uses. Es sencillo pero déjanos vivir un poco.
Tu has conseguido ejecutar Deepsek R 671, en alguna cuantizacion?
Se pueden alquilar GPUs en asía pero no tengo interés en modelos enormes. No necesito los LLMs a ese nivel. Para tonterías pago por la API de DeepSeek (que estaba caída hace unas horas, no sé ahora). He visto por twitter un vídeo con 3 Apple M1 petados de RAM haciendo pruebas y parecía real. Ni idea!
Seguro que hay un montón de gente haciendo su trabajo y en unas horas...
Para la mayoría de expertos ese modelo alumno lo suelen considerar un modelo menor del mayor.
NO es deepseek-r1, son "destilados".
A ver si la peña se entera de una vez que "ollama" ha estado mintiendo y que casi nadie está corriendo Deepseek-r1 en modo local! (se puede, pero se necesita un equipo con muchísima RAM/VRAM).
Para ver requisitos aproximados de VRAM y demás, mejor buscar por el modelo con el nombre completo (DeepSeek-R1-Distill-Qwen-XX o DeepSeek-R1-Distill-Llama-XX según la web de ollama).
Hay tablas como nodeshift.com/blog/a-step-by-step-guide-to-install-deepseek-r1-locally para poder contrastarlo.
Ollama si.
Y deepseek r1 también.
Imagina que tienes el ferrari de leclerc, puedes cambiarle los neumaticos por unos de calle, quitar el motor y poner uno de calle, quitar la caja de cambios... etc.
Sigue siendo el ferrari, tiene su aero y tal, pero no rinde igual.
El modelo r1 son 671B de parámetros y ocupa unos 400gb, pero se ha conseguido entrenar modelos como llama y qwen que son mas pequeños (1.5 7 8 14 32 y 70B) usando prompts de deepseek r1.
esto los mejora un huevazo, y además son mas "portables". Siendo los modelos que casi todo el mundo puede montar los de 7 8 o 14B (4,5 a 10gb de ram)
NO es deepseek-r1, es un "destilado" de otros modelos con algunas instrucciones de deepseek.
Puto ollama y sus nombres erróneos.
Que ya dudo si lo hicieron a propósito... para que la gente los prueba y diga "pero si es una mierda...!", cuando NO están corriendo deepseek-r1 sino los "destilados".
Mi contenedor es un gibernetes sobre una vm en un AWS de deckchart, y, sí, también va bien.
Yo también sé decir palabrejas…
En primer lugar estoy montando una aplicacion que entre otras cosas extrae determinada informacion de fotografias. Las aplicaciones que transforman el tipo de imagenes que transformo cobran mucho por imagen analizada.
Ademas tengo una instalacion domotica de home assistant que es controlable por voz y tiene detectores de presencia y camaras. Es lo ultimo que quieres exponer en internet... En cualquier caso paso de dar datos personales a ClosedAI o similares.
A mi con una de esas (prestada) me va lento de cojones. Unos 20 tokens/segundo con 32b.
Pero el modelo de 14b funciona bastante bien en una Nvidia de 8Gb. (tb unos 30 tokens)
root@ollama-76c84b4ffd-km65z:/# ollama list
NAME ID SIZE MODIFIED
deepseek-r1:32b-qwen-distill-q4_K_M 38056bbcbb2d 19 GB 2 days ago
es un contenedor kubernetes montado sobre una vm montado sobre un cluster proxmox. Y VA COMO UN TIRO
Pero si eso te parece poco, se pueden crear fine-tunes y ajustar parámetros de una manera que en otros escenarios resultaría imposible o muy costoso.
¿Para qué? ¿Con qué finalidad?
La generación de código está claro que es una de las vías más claras. Pero para al usuario convencional, que usa el ordenador para consumir contenido ¿qué le aporta?
Y hablo de empresas porque son los early adopters en este caso. Los consumidores finales tienen el mismo problema, pero no lo saben.
Mira, prefiero que me espie china que occidente.
He preguntado como decían sobre Tianamén y soltó un párrafo diciendo en plan que China ha hecho siempre lo mejor para su país y sus ciudadanos.
Al cabo de unos segundos se borró el mensaje solo y se cambió por:
Sorry, that's beyond my current scope. Let's talk about something else.
Le he hecho luego un par de consultas sobre programación y no lo ha hecho mal.
Pero esto de que las IA modulen… » ver todo el comentario
En cualquier caso, está noticia no va sobre DeepSeek, es un bulo.
Brew install ollama
ollama RUN deepseek-5b
Y ya.
Pero te puede dar 3 o 4 palabras por segundo. Cuanto tu velocidad de lectura es mayor, suele ser molesto.
- Con 8Gb de gráfica, no deberías tener problemas (unas 20 palabras segundo lo considero bastante rápido)
"¿Y para que quería instalar basura en mi ordenador?"
esta es la pregunta que realiza un usuario a esta noticia:
www.xataka.com/basics/como-instalar-deepseek-para-usarlo-forma-local-t
¿Como puedo responderle de manera sarcástica?
Responder de manera sarcástica o despectiva puede ser contraproducente y generar más conflicto. En lugar de eso, podrías optar por una respuesta educada pero firme que aclare
… » ver todo el comentario
En cualquier caso el post es de bajartela a tu PC, entrenarias TU PROPIA IA, no la china.
Porque tengo en mente comprar una gpu (con el micro no llega