#49#3 Negativo por desinformar (aunque estoy seguro que no lo haces a propósito).
Ni de coña puedes correr Deepseek-R1 en un pc de 600€.
Lo que puedes correr son destilados de Qwen/llama.
Me cago en ollama! son los grandes culpables de la desinformación sobre Deepseek-R1 por la mierda de nombres que usan!
Ya lo ponen en los propios comentarios del artículo, pero lo cierto es que el problema es que las versiones que puedes instalar en PCs normalillos no son muy listas que digamos. Pero bueno, que yo también creo que el camino debería ser ese, ofrecer la posibilidad de ejecutar un modelo de IA solvente desde tu propio equipo, para no acabar dependiendo de suscripciones, con lo que ello conlleva.
#6 Y para poder extraer información sobre cosas que no puedes subir a una nube de otra persona ya que vulnerarías los derechos de autos (o directamente no confías en dicha nube)
Por ejemplo informes médicos.
En el SAS (servicio Andaluz de Salud) muchas de las consecuencias sobre como mejorar el servicio (o ahorrar dinero) se obtenían mediante algoritmos que debían escribir los informáticos, específicos y normalmente muy poco eficientes.
Si le metes los datos a una IA y luego esta te responde a tus preguntas tienes un método seguro de obtener información relevante sin necesidad de saber programar.
#73 En 2002 te recuerdo que la mayoría de la población no tenía acceso a internet en su casa.
Y ese tipo de cosas han evolucionado mucho en los últimos 22 años, siendo informático yo también considero que una máquina no sabe más que un médico, incluso ahora, como para creer lo contrario hace casi un cuarto de siglo.
Es interesante como, para la medicina, estás dispuesto a pensar en un sistema híbrido y comentas como raro que los médicos no consideren un diagnóstico de la máquina junto al suyo… » ver todo el comentario
#98 ¿Quieres saber por qué creemos en el mundillo que un RAG no es una buena idea? Por muchos motivos, pero hay uno que es prácticamente insalvable, la falta de contexto y la incapacidad de una máquina de comprender qué es un contexto. Por ejemplo, los vectores guardados con algo que tenga que ver con un rey, una reina, un legislador, un regente, hombre fuerte, etc. Si te fijas, todos ellos sirven para definir a un o una mandamás, pues, no todas ellas tendrían el mismo valor coseno vectorial,… » ver todo el comentario
#14 En el año 2002 desarrolla un sistema híbrido conexionista para el diagnóstico de una enfermedad. Los propios médicos lo tiraron atrás porque: "Como va a saber mas una maquina que un médico'"
Me parece que tenemos una visión contrapuesta y
Los algoritmos los escriben los informáticos en base al conocimiento de los experto del negocio. Si los expertos del negocio no conocen su negocio, quizá las Ia puedan encontrar patrones ocultos pero poco más. Y posiblemente los expertos del negocio que no conocen su negocio, no puedan validar la efectividad de los patrones encontrados.
En este caso la información relevante no son fichas de los pacientes cuidad con dejar a la ia aplicar generalizaciones sobre datos que deben ser exactos.
#42 yo no me fiaría demasiado de un rag, pero si te interesa trastear y sabes algo de python, te puedo pasar un script para que lo modifiques lo necesario para introducir tus ficheros y también pueda hacer búsquedas en internet.
#75 Tengo python en la cola de pendientes, forever delayed. Estaba pensando en algo plug&play... Pero pasa, que reviso los apuntes y algo haré. Gracias.
#78 este script no es, de hecho, este te dará problemas de serializacion.
Está raro menéame, una vez me deja subir un script de gist, después me dice que no, que hay un ban.
Si subes un directorio y buscas el anterior, irá mejor. No hace falta que uses ray, quita esa dependencia.
#1 Asi que para ti, el camino deberia ser que las empresas te ofrezcan la posibilidad de que te instales su producto en local para que así no les tengas que pagar una suscripción... Solo por curiosidad, a qué te dedicas?
#24 existía el mundo del software previo a las suscripciones.
De todas formas esto es software libre, con lo que empresas locales de todo el mundo pueden ofrecer el servicio, adaptación y manteniendo. Sin que tenga su ser las mismas 4 de siempre, ni tener que cederles todos tus datos a parte de todo tu dinero.
#24 Llevo varias décadas usando un ordenador y la norma solía ser esa: tú en tu equipo ejecutabas su software para lo que te saliese del nabo. Desde ofimática hasta edición de vídeo. He ido esquivando suscripciones y servicios en la nube (salvo copias de seguridad) toda la vida a base de software libre: de Microsoft Office a Libreoffice, de Photoshop a GIMP,etc. Con la IA tengo pensado hacer exactamente lo mismo siempre que sea posible.
#46 estoy igual, lm studio me parece mucho más lento, incluso usando más cores, ollama parece más ágil en el desempeño. ¿Sabes cómo quitar el <think> de las respuestas con ollama?
#1 el problema de una IA no conectada, es el mismo que un periódico sin Internet, que pierde el 90% de su utilidad. Te servirá para traducir, o resumir, pero será más complicado que sirva para algo más avanzado
#58 A ver, yo si se ejecuta en local y no envía nada a servidores externos me fío de que acceda a mi sistema y lea mis mails que cuando lo hace ChatGPT.
#1 Yo he probado un poco de todo, por curiosidad. Mi mejor resultado en un ordenador modesto ha sido Meta-Llama 3.1 8B Instruct Q8. He probado DeepSeek R1 Distill Llama 8B y no llega a su nivel. Obviamente hablo de versiones bastante pequeñas de 8 GB y que se pueden ejecutar con una tarjeta gráfica normalita. Para mí Meta-Llama (la uso con LMStudio o GPT4ALL que están en los repos de Manjaro) es sorprendentemente buena y muy solvente en todos los campos que he tocado: conversación general muy… » ver todo el comentario
#2 Puedes ejecutar DeeSeek en un pc de 600€, mi equipo no está a la última que digamos y no tiene gráfica nvidia, y funciona razonablemente bien, no como otras ia's que he ejecutado en local y donde mi equipo se asfixiaba.
#3 eso no es deepseek. Habría que especificar que destilado del modelo, que es a lo que se refiere #2, que no hay ningún usuario que pueda ejecutar deepseek real en local.
#28 Poder se puede... de hecho por unos 6000€ se puede...
otros, incluso, lo hacen con SSDs aunque creo que éstos no pasan de 1t/s o así... pero poder se puede.
Eso sí, lo que corre la mayoría de la gente, es lo que dices, destilados.
#3 Negativo por desinformar (aunque estoy seguro que no lo haces a propósito).
Ni de coña puedes correr Deepseek-R1 en un pc de 600€.
Lo que puedes correr son destilados de Qwen/llama.
Me cago en ollama! son los grandes culpables de la desinformación sobre Deepseek-R1 por la mierda de nombres que usan!
#2 "No obstante, cuenta con ocho mil millones de parámetros. La eficiencia de DeepSeek es una virtud que se aprecia enormemente cuando la usas desde tu equipo, en mi caso un Mac Mini y un MacBook Air apañados pero nada del otro mundo."
Pero es imposible que te explique todas las cosas que no son necesarias para el uso que ella le da.
Tambien explica que version del modelo 8 mil parametros por encima estan varios que ocupan mas y que requieren mas potencia. Pero no los que ella necesita.
Yo creo que la arquitectura de memoria unificada fue bastante acertada por parte de Apple, usando Olama para correr varios modelos estoy bastante satisfecho (para lo que yo lo uso).
#2 DeepSeek en local admite un mínimo de 4 cores y 8gb de ram. O sea que con una Raspberry 5 tienes una IA local, por supuesto lenta de cojones al no tener GPU y usar modo CPU only, pero el algoritmo es el mismo, up to you para quitar toda la purria que no necesitas y crear un sistema experto en reconocimiento de melocotones maduros, montarlo en un drón y reducir costes en tu granja por menos de 500 leuros. y todo comprado en Aliexpress.
#53 Por supuesto que son destilados. El despliegue total de r1 son 480Gb de vram y ni te cuento de disco. Pero vuelvo a lo mismo, no vas a conseguir una IA genérica, por supuesto, pero si una entrenable a nivel local para determinadas áreas muy especificas como la que he dicho , reconocer melocotones maduros, reconocer caras, entrenarla en un lenguaje determinado de programación y que pique código. Tienes el fuente, puedes tunearla para tus propósitos y tu hardware disponible.
#10 Yo la tengo instalada en GPT4All, donde se puede instalar de manera bastante más sencilla. También la he probado con docker y con ollama., donde también funciona, pero no detecta la GPU y corre mas lento sobre CPU
#33 Entiendo que preguntas de si conseva contexto, puedes configurarlo en cualquier modelo para que conserve una parte en cada chat, de hecho dandole a ver el "thinking" puedes ver lo que preserva del contexto de la conversacion.
#18 las redes neuronales actuales no aprenden. Infieren del entrenamiento previo el resultado.
Esto no significa que no se puedan usar los prompts y el feedback para reentrenar esos modelos (que es el mecanismo complejo y caro), pero no en local, sino que gemini, openai etc... Lo guardan y lo usan a posteriori.
#18 Interesante cuestión, porque las que yo probé, les podías decir 100 veces que había cometido un error y explicarle la respuesta correcta, y seguía cayendo en el mismo error...
#68 estamos hablando de lo mismo. Si quieres que conserve el contexto de la conversación previa tienes que almacenar tu pregunta y la respuesta (y si estamos hablando de un RAG también puedes almacenar el contenido recuperado) en algo que sirva de memoria, de tal manera que en la siguiente pregunta que le hagas se le pasa al LLM todo ese contenido más tu nueva pregunta. Luego puedes refinar esta memoria para que vaya resumiendo el contexto antiguo, lo vaya purgando, etc. Pero es un mecanismo que tienes que implementarle porque el LLM, el modelo de transformers que cargas en memoria, no lo incorpora
Para correr Deepseek en modo local, se necesita un ordenador muy, pero que muy, potente. El modelo son 671Gb.
O se pueden hacer con menos pero con muchísimo trabajo.
Lo que corren en local son fine-tunings/destilados de otros modelos, aplicando técnicas de Deepseek-R1, pero NO es Deepseek-R1, es llama3 or Qwen2.5.
#11 En local no te hace filtrados. El filtro está si la usas online en su web.
Al igual que otras IA aparte del LLM hay otras redes que van mirando lo que escribe y si suelta algo que no debe la para en seco.
#12 Lo de cortarlo solo lo he visto en Bing, por lo general la censura la aplican añadiendo a tu consulta instrucciones previas dónde le indican a qué no debe responder o qué debe responder ante ciertas preguntas o ámbitos.
Cuándo lo ejecutas en local esas instrucciones previas no están o las puedes decidir tú.
#11 Joder, y tanto! Estaba mirando a ver cuánto tardaba alguien en comentarlo, daña a la vista ver eso ya en la entradilla...
Bueno, rectifico leyendo a #12... En serio? Entonces de qué vale la censura? Cualquier chino podría descargarlo en su ordenador también y ver las respuestas sin censura, no?
#32 SI claro, de hecho si lo pruebas lo ves claramente.... le preguntas cualquier cosa censurada y realmente te la contesta y luego lo borra... puedes decirle, escribe la respuesta intercalando guiones entre cada letra y ya esta por poner un ejemplo (digo en la propia web, en local no el modelo esta completo, pero otra cosa es que los destilados no son lo que ves en la web, y digamos que sale caro una maquina para levantar el R1 completo)
#32 como bien indica #65 una maquina para levantar y ejecutar DeepSeek R1 con todos los parametros a una velocidad decente debe tener al menos 160 Gb de VRAM.
Perdonar mi ignorancia, pero, aunque lo ejecutes en local necesitará conectarse a Internet para alimentarse de información, ¿o también te la descargas?, si es así no hay problema, en caso contrario se la estás pasando a alguien, digo yo.
#7 Los modelos de IA locales como DeepSeek-Coder o similares, **no necesitan conexión a Internet para funcionar una vez descargados**. Aquí los detalles clave:
1. **Funcionamiento offline**:
- El modelo y sus pesos (los "conocimientos" adquiridos durante el entrenamiento) se descargan completamente en tu dispositivo.
- Las respuestas se generan localmente usando esos datos, sin requerir acceso externo.
#15 ¿como puedo darle acceso a internet para consultar paginas, por ejemplo para pedirle un resumen? Actualmente estoy haciendo pruebas con ollama y lm studio
He leído el artículo hasta que dice "soy una periodista" (supongo que por escribir en Gennbeta, lo mismo que yo soy artillero de infantería en Call of Duty)
Una duda, a lo mejor (probablemente) un poco tonta... no existe la opción de cargar esto en un docker, meterlo a un servidor pepino de Internet y ejecutar el modelo que quieras en remoto? Sería algo así como "alquilar" la ram/procesador necesarios, aunque me cabe la duda de si sería más caro que simplemente pagar a OpenAI... (?) Hablo como digo desde el más absoluto desconocimiento y como analfabestia, pero no existe la posibilidad de "alquilar" ciclos de trabajo y correrlo allí?
#82 Es totalmente posible. Muchas empresas ofrecen renta por horas de sistemas que pueden ejecutar DeepSeek R1. Incluso una, Microsoft, en su servicio ya incluye una "máquina" preconfigurada con DeepSeek R1, en su sistema Azure.
No diré que no sea mejor o peor DeepSeek, pero la realidad es que los modelos de un par de billones de parámetros de Llama corren bien si los cargas enteros en RAM o VRAM (no tienen unos requisitos desorbitados y los resultados no son peores en modelos pequeños). No entiendo porque la gente piensa que esto es revolucionario.
#30 se dice "un par de miles de millones". O dices "un par de billions" o dices "un par de miles de millones". También puedes decir "un par de millardos" pero nadie utiliza eso.
Para clarificar, "un par de billones" es 2 trillion.
#43 efectivamente son "billones americanos", si bien alguien que no sea completamente ajeno al contexto sabe interpretarlo.
Profesionalmente nunca lo he oído como trillones de parámetros, si bien sería lo correcto me recuerda a como antaño se hablaba de "octetos" en vez de bytes. Yo creo que ya solo se usa a nivel académico.
#19 solo se puede saber que has descargado el modelo. la conexion a internet es solo necesaria para descargar el modelo y de hecho el equipo que ejecute deepseek puede tener completamente deshabilitado internet.
#37 me pregunto si estarias tan preocupado si la procedencia del modelo fuese del otro lado del atlantico. El modelo no se ejecuta en el aire, se utiliza software como ollama (tambien codigo libre) que no tienen apis para que los modelos se conecten a la red. Si la propaganda hace que la paranoia sea desproporcionada siempre tienes formas de que el proceso se ejecute en un entorno que no tenga conexion de red.
Esta bien ser precavido, pero a estas alturas el problema de robo de informacion personal es muchisimo mas grave por parte de multinacionales occidentales, que son las que ya comercian con nuestros datos.
Ni de coña puedes correr Deepseek-R1 en un pc de 600€.
Lo que puedes correr son destilados de Qwen/llama.
Me cago en ollama! son los grandes culpables de la desinformación sobre Deepseek-R1 por la mierda de nombres que usan!
A mi también me parece el camino.
Por ejemplo informes médicos.
En el SAS (servicio Andaluz de Salud) muchas de las consecuencias sobre como mejorar el servicio (o ahorrar dinero) se obtenían mediante algoritmos que debían escribir los informáticos, específicos y normalmente muy poco eficientes.
Si le metes los datos a una IA y luego esta te responde a tus preguntas tienes un método seguro de obtener información relevante sin necesidad de saber programar.
Y ese tipo de cosas han evolucionado mucho en los últimos 22 años, siendo informático yo también considero que una máquina no sabe más que un médico, incluso ahora, como para creer lo contrario hace casi un cuarto de siglo.
Es interesante como, para la medicina, estás dispuesto a pensar en un sistema híbrido y comentas como raro que los médicos no consideren un diagnóstico de la máquina junto al suyo… » ver todo el comentario
Me parece que tenemos una visión contrapuesta y
Los algoritmos los escriben los informáticos en base al conocimiento de los experto del negocio. Si los expertos del negocio no conocen su negocio, quizá las Ia puedan encontrar patrones ocultos pero poco más. Y posiblemente los expertos del negocio que no conocen su negocio, no puedan validar la efectividad de los patrones encontrados.
En este caso la información relevante no son fichas de los pacientes cuidad con dejar a la ia aplicar generalizaciones sobre datos que deben ser exactos.
En realidad para lo que las uso, cualquiera 8B me van bien.
Algún experto en la sala de cómo usar agentes o qué modelos van bien para hacer RAG y q programas usar? Mi arma de momento Lmstudio + anythingLLM
pip install ray langchain langchain-core langchain-openai langchain-community
langchain-text-splitters langchain-google-community rich faiss-cpu pypdf
Está raro menéame, una vez me deja subir un script de gist, después me dice que no, que hay un ban.
Si subes un directorio y buscas el anterior, irá mejor. No hace falta que uses ray, quita esa dependencia.
De todas formas esto es software libre, con lo que empresas locales de todo el mundo pueden ofrecer el servicio, adaptación y manteniendo. Sin que tenga su ser las mismas 4 de siempre, ni tener que cederles todos tus datos a parte de todo tu dinero.
Y tú a qué te dedicas?
Soy profesor.
otros, incluso, lo hacen con SSDs aunque creo que éstos no pasan de 1t/s o así... pero poder se puede.
Eso sí, lo que corre la mayoría de la gente, es lo que dices, destilados.
Ni de coña puedes correr Deepseek-R1 en un pc de 600€.
Lo que puedes correr son destilados de Qwen/llama.
Me cago en ollama! son los grandes culpables de la desinformación sobre Deepseek-R1 por la mierda de nombres que usan!
Pero es imposible que te explique todas las cosas que no son necesarias para el uso que ella le da.
Tambien explica que version del modelo 8 mil parametros por encima estan varios que ocupan mas y que requieren mas potencia. Pero no los que ella necesita.
- i7-4790K, 16gb memory and a GTX-1060 6gb => 19.4 Tokens / segundo... yo creo que de segunda mano puedes conseguir ese hardware a buen precio.
www.reddit.com/r/ollama/comments/1ifa93h/deepseek_r1_hardware_requirem
Yo creo que la arquitectura de memoria unificada fue bastante acertada por parte de Apple, usando Olama para correr varios modelos estoy bastante satisfecho (para lo que yo lo uso).
No hablas de Deepseek-R1, sino de destilados Qwen/llama.
Es IMPOSIBLE correr Deepseek-R1 en lo que dices... Bueno, tal vez es posible, pero dudo que superes el token por año...
ollama.com/library/deepseek-r1
Aquí tenéis un video de como se puede conseguir:
www.youtube.com/watch?v=o1sN1lB76EA
Sigo bastante a Jeff Geerling, todo lo que hace lo documenta y comparte gratis en GitHub
A mi me va de P.M. con un equipo viejo y GPU barata.
Para que vaya rápido uso el modelo 7B porque cabe entero en memoria. Escribe más rápido de lo que puedo leer.
Intel(R) Core(TM) i5-4460S CPU @ 2.90GHz (AÑO 2014)
16 GB RAM.
RTX 3050 6GB unos 250€.
#!/bin/bash
./llama-server
--host 0.0.0.0
--port 8080
--path "${HOME}/llama/examples/server/public"
-m "${HOME}/llama/models/DeepSeek-R1-Distill-Qwen-7B-Q5_K_M.gguf"
--repeat_penalty 1.1
-ngl 45
--temp 0.9
--no-warmup
--threads 6
-c 0
-n -1
--keep -1
-fa
-nkvo
No estas corriendo Deepseek-R1. Es un destilado/fine-tuning basado en Qwen. Lee bien el modelo (gguf).
Deekseek-R1 es un modelo de 671Gb...
como se hace el mazapan de España y luego me cuentas
En chatgpt o versiones web de Deepseek, pues no sé sabe.
Esto no significa que no se puedan usar los prompts y el feedback para reentrenar esos modelos (que es el mecanismo complejo y caro), pero no en local, sino que gemini, openai etc... Lo guardan y lo usan a posteriori.
Para correr Deepseek en modo local, se necesita un ordenador muy, pero que muy, potente. El modelo son 671Gb.
O se pueden hacer con menos pero con muchísimo trabajo.
Lo que corren en local son fine-tunings/destilados de otros modelos, aplicando técnicas de Deepseek-R1, pero NO es Deepseek-R1, es llama3 or Qwen2.5.
Al igual que otras IA aparte del LLM hay otras redes que van mirando lo que escribe y si suelta algo que no debe la para en seco.
Usando la API tampoco, de momento, hay filtrados.
Cuándo lo ejecutas en local esas instrucciones previas no están o las puedes decidir tú.
Bueno, rectifico leyendo a #12... En serio? Entonces de qué vale la censura? Cualquier chino podría descargarlo en su ordenador también y ver las respuestas sin censura, no?
1. **Funcionamiento offline**:
- El modelo y sus pesos (los "conocimientos" adquiridos durante el entrenamiento) se descargan completamente en tu dispositivo.
- Las respuestas se generan localmente usando esos datos, sin requerir acceso externo.
2. *Limitaciones*:
- **Sin información en tiempo… » ver todo el comentario
Te suelta una parrafada terrible de lo que va a hacer antes de hacerlo.
Mi portátil tiene ya 6 añitos largos.
No existe "r1" de 8b. Hay uno sólo y es de 671b
azure.microsoft.com/en-us/blog/deepseek-r1-is-now-available-on-azure-a
No es una conversación entre tu y el bot.
Para clarificar, "un par de billones" es 2 trillion.
Profesionalmente nunca lo he oído como trillones de parámetros, si bien sería lo correcto me recuerda a como antaño se hablaba de "octetos" en vez de bytes. Yo creo que ya solo se usa a nivel académico.
Cuando parecía que no se podía ser más patético, llegan éstos y demuestran que sí, que la estupidez humana puede seguir creciendo.
Esta bien ser precavido, pero a estas alturas el problema de robo de informacion personal es muchisimo mas grave por parte de multinacionales occidentales, que son las que ya comercian con nuestros datos.