La IA DeepSeek funciona de forma local en PC, el fin de ChatGPT

DeepSeek ha llegado a denominarse como el "futuro" de los modelos de IA, debido a que han conseguido algo comparable o incluso mejor a ChatGPT y otros modelos utilizando menos tarjetas gráficas de NVIDIA, siendo más eficiente y más barato en costes. De hecho, el mismísimo Raja Koduri de AMD está a favor de usar DeepSeek indicando que se puede llegar a utilizar en un PC que tengamos en casa con nuestras propias GPU, pues resulta que no se requiere estar conectados a Internet y se puede ejecutar de forma local.

[#1 Dav3n]

"Seems like we are just about to stop giving data to anybody.. Deepseek seems to work great with few handful of PC GPUs at home.. we are excited about what we can do with a quality model that we can control for our daily automation needs.."

x.com/RajaXg/status/1883727718614974933  

[#34 Bourée]

#1 rizpabani.medium.com/how-to-run-deepseek-r1-locally-with-cursor-in-4-m

[#9 angelitoMagno]

Mas que en un PC de escritorio, yo la posibilidad que le veo a esto es instalarlo en un servidor empresarial, entrenarla con todos los datos de la empresa y que los trabajadores la usen como clientes.

Quizás de momento sigue sin funcionar muy bien, pero esta posibilidad tiene unas ventajas de privacidad y control que son bastante potentes.

[#25 Tumbadito]

#9 La pregunta es... Si de una IA hacemos X IA ¿Cómo se entrena y se retroalimenta con conocimientos la principal? ¿Existe la posibilidad de fuga de datos? ¿Necesito obtener nuevos datos de otros lugares para que la mía no se obsoleta?

En lo personal todas estas cosas al principio me producen recelo, ya pasamos muchas veces por eso del "primero te lo regalan el segundo te lo venden"

[#31 fingulod]

#25 Se supone que la ventaja que sea soft libre es que eso no puede pasar.

[#40 Tumbadito]

#31 No, lo que se supone es que puedes adaptar y modificar el código, pero nadie dice que no haya líneas que roben datos como ya pasó con otras compañias.

[#44 fingulod]

#40 Bueno, se pueden detectar si lees el código.

Pero me refería lo de lo "primero lo regalan, luego lo venden".

[#30 merinet]

#9 De hecho ya puedes hacerlo, coges privateGPT que es opensource cargas deepseek y lo tienes. También está la versión empresarial, se llama Zylon y encima los mantenedores del proyecto son españoles!

[#13 perrico]

En cualquiera de los casos es una noticia genial para el medio ambiente.
Las empresas de IA ya estaban pensando en utilizar centrales nucleares para suministrar energía a las IA.
Centrales nucleares o paneles solares me da igual. Seguia siendo una cantidad de derroche inasumible con semejante gasto.

[#16 Dav3n]

#13 Lo de los minireactores nucleares era la enésima ida de olla capitalista y lo peor es que iban en serio...

[#36 elTieso]

#13 pregunta tonta desde el desconocimiento, ¿los millones de PC ejecutando en local que antes tiraban del centro de datos vía conexión no necesitarán más o menos la misma energía eléctrica?

[#43 empe]

#36 Hablaban de que está IA consumía 100 veces menos recursos.

[#73 joffer]

#43 Pero si se la instalan 1000 de personas en local...

[#83 empe]

#73 Consume menos y me da igual que sean 1000 personas en remoto que 1000 en local.
Si antes tiraban del centro de datos también estaban consumiendo recursos.

[#46 eljuligallego]

#36 seguro que más...

[#51 daphoene]

#36 Relativo a la IA, hay dos tipos de consumos distintos:

1. El consumo de entrenar una IA : Altísimo, se requieren cientos o miles de GPUs procesando durante meses.
2. El consumo de preguntar a una IA entrenada: Infinitamente menor, del orden de segundos de proceso, aunque con máquinas caras.

El ahorro sobre el punto 2, a gran escala, se puede notar mucho, pero el gasto energético principal, y para el que imagino que querían conectarse a fuentes potentes y constantes de energía, es el 1.

[#84 PapoFrito]

#13 Dile a este que no le vas a alimentar porque "es demasiado gasto".  

[#18 tdgwho]

#10 Puedes usar ollama, ollama.com/ o LM Studio lmstudio.ai/

Pero vas a necesitar no solo gráfica si no espacio de disco y ram, calcula aproximadamente y de forma muy burda que el número de parámetros (7billones, 8 billones ...) es el doble de la ram que necesitas, así que para el de 8b necesitas unos 4,5 o 5gb de ram. Para el de 32 son unos 20gb

Y conforme uses modelos con mas parámetros, aunque quepan en ram, dependerá de tu capacidad de cálculo (la cpu si no tienes…   

[#74 mcfgdbbn3]

#18: Si son gigas serían miles de millones. ¿no?
Lo digo porque 1 Tb permite guardar un billón de datos (entero 8 bits), si son gigas es la milésima parte.

[#75 tdgwho]

#74 No, es que cuando se habla de "7b" son billones de parámetros. No tiene nada que ver con gigas.

[#77 mcfgdbbn3]

#75: O sea que por cada dos billones de parámetros necesito 1 Gb. ¿no? ¿Es lineal la relación?

[#78 tdgwho]

#77 Es una aproximación.

Por ejemplo para las de 8B son 4,9gb, para la de 14B son 9gb y la de 70B son 43gb

Y eso es solo para volcar el modelo, luego necesitas espacio para el contexto.

[#2 alexwing]

He probado en local el 8b y 7b y no me ha convencido demasiado, como sustituto digo. En español al menos deja bastante que desear mete palabras de vez en cuando en una especie de spanglish inventado y alucina bastante si le preguntas temas locales.

[#10 Hil014]

#2 tienes tuto por ahí? Con que gráfica?

[#12 alexwing]

#10 Tengo una 3060, hay una aplicación llamada LM Studio, en el que puedes instalarte de manera totalmente automatica un porrón de modelos, entre ellos los de DeepSeek.

[#15 Dav3n]

#10 Ayer leí que si preguntas a DeepSeek te dice qué hardware necesitas para cada modelo y te da el tuto para montarlo, prueba a ver si es cierto

[#41 StarlightHunter.com]

#10 Sin gráfica, solo con la CPU va bastante bien si tienes al menos 8GB de RAM.

Yo he usado ramalama para probarlo: github.com/containers/ramalama. En el README del repositorio explican como instalar ramalama y como ejecutar un modelo. Cambias ese modelo por cualquiera de los deepseek disponibles en Ollama y te va a funcionar perfectamente a la primera.

Lo que si coincido es que en español es algo limitadillo.

[#47 camperuso]

#41 vamos, que en mi rpi4 me olvido ya del tirón

[#71 StarlightHunter.com]

#47 El modelo más aceptable para trabajar con CPU ocupa 4.7GB. Entiendo que si, que en una RPi estará complicado, pero los hay más pequeños. Eso sí. No va a ser una conversación precisamente fluida ni coherente.

[#52 Alexfighter]

#41 Dime que cuanto terminas de usar Ramalama, hace dindón.

[#53 Jumbo2]

#52 #angryupvote

[#69 StarlightHunter.com]

#52 Claramente. ¿Si no que gracia tiene?

También puedes ejecutar "ramalama; beep ; beep" en la consola

[#70 Alexfighter]

#69

[#42 radon2]

#10 En este vídeo tienes un tutorial de instalación.
youtu.be/Fuzzpcog7tQ?si=rwM4ZBSMtzXxfsMp

[#11 tdgwho]

#2 No, incluso el modelo 32B no es una maravilla.

Pero hay que verlo de otro modo, y si pones el 8B o incluso el 1,5B en un home assistant al que solo le pides que ponga alarmas y poco mas?

Luego claro, si quieres mas, yo no bajaría del 70B, aunque eso ya son palabras mayores...

[#33 aritzg]

#2 Ese no es el modelo R1 sino destilaciones de LlaMa usando R1. Lo que has probado no es un modelo de razonamiento.

Y decir que DeepSeek R1 funciona en un PC es fliparse mucho. Prácticamente nadie puede ejecutar R1 y las versiones que más o menos se ejecutan en local (en un buen equipo) ya las teníamos antes.

[#38 ralph]

#2 Porque ninguno de esos es realmente "deepseek-r1", sino "distills" (otros modelos que toman algo de deepseek-r1).
Deepseek-r1 es 671b... con lo que necesitas muchísima VRAM/RAM...

[#67 troll_hdlgp]

#38 Si el calculo de es correcto, se necesita la mitad de RAM que de numero de parámetros, así que DS-r1 va a necesitar unos 336Gb de RAM... La tope de gama actual tiene 32GB de RAM, la anterior 24GB y lo que no era un lujo 16GB... creo que los mortales no vamos a poder catar localmente la IA decente

[#55 PensarNoDuele]

#2 Lo primero, hay que saber usarlos, si dejas la temperatura estándar (suele ser 0.8) se ponen a hiper-pensarlo todo, hay que poner la temperatura MUY baja (0.05).
Lo segundo, esos son modelos qwen y Llama destilados con R1, ese es el tamaño de la meada de cara que se ha marcado China: que se han permitido mejorar hasta otros modelos de origen chino y los modelos de los competidores norteamericanos.
Lo tercero, incluso los modelos destilados son la leche, los modelos de 14b y el de 32b…   

[#5 ctrl_alt_del]

Ahora a aguantar a los gerentes y middle managers dando la chapa para implementar IA en producción porque "en mi portátil funciona"

[#7 Magog]

#5 no os preocupes, para eso nos tenéis a los de IT respondiendo que vuestros equipos no lo soportan y que si quieren un equipo que lo soporte no hay problema, pero tendrá que ir a cargo del proyecto

[#32 AMDK6III]

#7 ""pero tendrá que ir a cargo del proyecto ""

Como dirían en "Silicon Valley" , "This guy f*cks"
¡Bravo! ¡Mis dieses!  

[#45 eljuligallego]

#7 las 4 palabras mágicas que lo joden todo. #32

[#14 Anahera]

"El fin de chatgpt" Vaya tela...

[#20 tdgwho]

#14 Pues... yo hace mucho tiempo que no uso nada de openai, he usado claude sonnet con github copilot, y ahora estoy usando deepseek en local...

Fin como tal no, pero que les va a costar seguir vendiendo el pro a 20€ o el superpro a 200€ al mes... eso si.

[#27 g3_g3]

#14 El sensacionalismo atrae a la borregada.

[#3 manbobi]

Hay muchos modelos que funcionan en local. Yo tengo varios pero no hago carrera con ellos.

[#37 ralph]

Errónea!

No existe "deepseek-R1:14b" (ni 1.5b, 7b, 8b, 32b o 70b), es un "distill" de qwen2.5 (o algún otro modelo).

Deepseek-R1 es 671b, por lo que se necesita muchísima VRAM/RAM.

La confusión viene por la puta mierda de ollama y la manera errónea de nombrar a los "distills" de deepseek-r1.

[#50 theM]

#37 Como es un MoE solo tiene 37b de parámetros activos, para inferencia necesita menos de 32GB de RAM

[#59 ralph]

#50 A ver, estoy diciendo que el único modelo de Deepseek-R1 es de 671b, todos los demás son "distills" de qwen o llama...

[#62 theM]

#59 Correctísimo (aunque funcionan bastante bien). El apunte es porque hoy en día 32GB no me parece muchísima RAM, y en GPU es "asequible" (ejem 2x4060Ti16GB ~1000€)

[#63 DiThi]

#50 Para inferencia necesitas mucho más. Son 37B de parámetros activos por token, y en cada token puede ser diferente. Lo de 37B activos permita que funcione muy rápido en comparación con un modelo denso, pero no te libras de tener que alojar todo el modelo en memoria. La versión más cuantizada que existe (y que funcione!) ocupa 131 gb (solo el modelo, sin contar con el contexto).

[#68 theM]

#63 Toda la razón, de 32GB nada

[#56 eljuligallego]

#37 qwen 2.5 no tiene modelo de 8 ni 70b...

[#60 ralph]

#56 Me refiero a los distills de deepseek-r1 que usan qwen...

[#64 DiThi]

#56 Los distills de 8 y 70B están hechos a partir de llama 3.1 y 3.3 respectivamente. Ollama debería haber incluído los nombres originales de los distills en su nombre.

[#65 eljuligallego]

Guay, corro a instalarlo en mi 386

[#28 pitercio]

La IA en un diskete

[#17 tamat]

Pues lo que ya permite LM Studio con multitud de modelos existentes.

[#22 tdgwho]

#17 Si, el tema es que al menos yo, con mi hardware ponía un llama 70B y la cosa era horrible, iba a palabra por minuto así.

Esta, en el 70B son 1 o 2 palabras por segundo. Sigue siendo lento, pero es un buen salto.

Y si bajas a 14B o 32B es muy usable.

[#54 Coronavirus]

Los modelos destilados en local no tienen nada que ver con el completo, dejemos de soltar tonterías

[#57 Lerena]

#54 Te puedes descargar la versión completa, pero necesitarás 300Gb de VRAM y pesa 404Gb. En cualquier caso si el modelo es más eficiente tendría que funcionar mejor que otros modelos en local. Parece que en GPT4ALL no funciona. Voy a probar de correrlo en Ollama.

[#61 ralph]

#54 Da igual la realidad... más erróneo no puede ser el meneo... pero aquí eso no importa...

[#29 del_dan]

ya estaba llama, y no fué el fin de openIA.

es como decir como está Linux es el final de mac o windows.

[#35 aritzg]

#29 en el escritorio en 2025

[#21 kumo]

No es el primer modelo de IA que se ejecuta en local. Me parece bastante sensacionalista.

[#26 NoPracticante]

No lo he probado en local por que mi máquina es cortita pero cuando probé Chatgpt y otros vía web me decepcionaron por que no solo se equivocaban en cosas básicas (quizás por el idioma) sino que insistían en que no se equivocaban.

Con este apenas se equivoca y creo que ha sido más por no entender bien a que me refería que por otra cosa. Y cuando le he indicado que un resultado no era el que me interesaba lo ha corregido bien.

Me parece que los demás si no espabilan se van a quedar atrás.

[#39 sauron34_1]

Se está vendiendo la piel del oso antes de cazarlo. Yo no dudo que DeepSeek sea mejor, ya me lo he bajado y lo estoy probando, pero chatGPT fue el primero y el que ha entrado en el imaginario cultural y desbancar eso va a ser muy complicado.
Así que en unos meses veremos si la alternativa china pasa sin pena no gloria o realmente desbanca a chatGPT.

[#58 Tarod]

#39 Es cierto pero olvidas un parametro. Si DeepSeek es codigo abierto y muchisimo mas barato fuerza a chatgpt a abaratarse o quedarse fuera.

[#72 sauron34_1]

#58 no, no, que esto es positivo para todos no lo he dudado ni un segundo.

[#66 Segope]

Oops! DeepSeek is experiencing high traffic at the moment. Please check back in a little while.

[#6 lonnegan]

Funciona en local y tira de GPU? algunos van a flipar con el recibo de la luz

[#8 Dav3n]

#6 Sabes lo relativo que es eso en algunos lugares, verdad?

Conozco a más de uno que en su día tuvo los racks de minería enchufados a la farola más cercana...

Picaresca que le llaman. Aparte hay que tener en cuenta lo que te dé, si la usas para algo laboral y genera beneficios s tu empresa no creo que la factura sea un problema sino un gasto de empresa.

Vamos, que los costes son muy relativos.

[#49 daphoene]

#6 Yo creo que para el uso que se le suele dar, no más que un calefactor puesto unos minutos. Hablando de una instalación normal, que suele ir con un ordenador con fuente de 1000W. Mucha gente usa esos ordenadores para jugar, y tienen alto consumo durante horas, el LLM usando el modelo va a tirarse como mucho unos minutos por pregunta, pero igualmente no va a gastar más que lo que permita la fuente de alimentación.

[#81 LaInsistencia]

#6 Si genera algo útil para una empresa y el coste de la luz es mas barato que contratar a un becario, tampoco van a flipar mucho...

[#4 pedrobotero]

En breve veremos un modelo mas delgado, no es ahora mismo el cuerpo normativo pero...

x.com/DotCSV/status/1883919899170402799

[#48 DORO.C]

Menudo panfleto sensacionalista El enfoque de DeepSeek es bueno para todos.

[#19 Or3]

Joder "Raja Koduri de AMD" cuando salió de allí por la puerta de atrás para fichar por Intel y que finalmente lo largasen también por inútil. Raja Koduri es el mayor vendedor de humo del que nunca has oído hablar.

Nivelaco el de ese pozo de inmundicia llamado elchapuzasinformatico.

[#23 Dav3n]

#19 Compraste NVIDIA hace un mes?

Es que das unos argumentos superconvincentes...

[#24 Or3]

#23 ¿Qué te dicen las voces? Cuéntame.

[#76 Feliberto]

Funciona de forma local si tienes 256gb de vram minimo, no te jode

[#82 sillycon]

Pero vamosaver, a qué viene este alboroto. Te puedes instalar el ollama en tu ordenador y meterle modelos que hay por ahí desde hace años, lo único imprescindible es que tengas una Nvidia moderna donde quepan. Y si quieres generar imágenes, el Fooocus va como una tiro. La diferencia es que esto no es un LLM pelao sino un modelo de razonamiento.

[#79 DayOfTheTentacle]

y de dónde obtiene la información si no está conectado a internet?

[#80 Ozono33]

Lo he probado esta tarde y la verdad es que comete muchos errores, ya iremos viendo.