China sigue pisando el acelerador con la IA. Lo demuestra el nuevo y gigantesco modelo de DeepSeek

Una startup china llamada DeepSeek acaba de lanzar DeepSeek V3, un LLM absolutamente gigantesco que está disponible con una licencia MIT "abierta" que permite a los desarrolladores descargarlo de GitHub y modificarlo para diversos escenarios, incluyendo algunos comerciales.

[#17 chankeiro]

Lo estoy usando para programación y, al menos para lo que yo hago que en general no es muy avanzado, está al mismo nivel que Claude Sonnet 3.5, que hasta ahora era la referencia del mercado. Gemini Experimental 1206 también funciona muy bien.

Hasta este mes estaba suscrito a Sonnet, pero ya no lo necesito con estas nuevas opciones (gratuitas). Ahora mismo contrasto las respuestas entre las tres para conseguir los mejores resultados.

OpenAI acaba de sacar un nuevo modelo, o1-2024-12-17 que promete ser incluso mejor, aunque ahora mismo creo que todavía no está habilitado para todo el mundo.

Ranking the LLMs bastante utilizado: livebench.ai/#/

[#21 aavvaallooss]

#17 Deja de escribir comentarios útiles que esto es Menéame. Compórtate, por favor

[#22 chankeiro]

#21 Lo siento mucho, me he equivocado...no volverá a suceder

[#25 aironman]

#17 llevo meses evaluando para tareas de programación, y para mi, el mejor es sonnet, junto con mistral, o4, haiku a mucha distancia del resto. Aún no he probado deepseek por vacaciones. A primeros de año retomo.

Lo ideal es contrastar entre varios, bien hecho.

[#31 ACEC]

#17 ¿has comparado precios?

[#36 chankeiro]

#31 Trabajo sobre todo con la interface the chat. Por Api, creo recordar que Deepseek ahora mismo es unas 50 veces más barato que Sonnet 3.5, aunque creo que en unas semanas subirán el precio y pasará a ser "sólo" 10 veces más barato o así. Gemini 1206 es experimental y por ahora no tiene coste pero tiene límite de peticiones por minuto/día.

Lo digo de memoria, mejor comprúebalo.

[#9 migrad]

#8 Al menos las versiones anteriores si puedes ejecutarlas en local por lo que veo en el LM Studio, pero vas a necesitar más de 600GB de RAM (si tiras de CPU) o de VRAM si lo usas con GPUs (mucho mejor que usar la CPU), como unas 8 Nvidia H100, que cada una tiene 80GB de VRAM.

Con el tiempo seguro que saldrán versiones de este modelo que requieran menos recursos, tanto creados por la misma empresa como por parte de algunos usuarios.

[#23 Grub]

#9 Los de RWKV hacen modelos preciosos con menos de 1GB VRAM (aun no lo he probado):
huggingface.co/BlinkDL/rwkv-7-world
La versión 4 (de hace un año) ya destacaba en español con llama.cpp

Con ese tamaño, puedes tener whisper/llm/sintetizador todo incluido dentro de tu ordenador sin mucho lag.

[#35 LaInsistencia]

#9 Casi nada, 290.000 euros de GPUs para correr el modelo. Me parece que han querido dar un porrazo con la p*lla sobre la mesa sabiendo que poca gente va a poder usar ese modelo en la practica en condiciones que supongan un problema para ellos...

[#37 WarDog77]

#13 ¿Y la versión de escritorio puede operar aislada de internet?
Cuando digo "operar" no me refiero solo a ejecutarse sino a ser mínimamente funcional (entiendo que con una base de datos reducida claro)

Porque asumo que la barbaridad de recursos que indica #9 es porque la IA carga en RAM además de su código de ejecución toda su base de datos de referencia.

[#38 giputxilandes]

#37 sí. Por ejemplo, hay empresas que hacen correr modelos offline por cuestión de seguridad/protección de propiedad intelectual.

[#14 Connect]

Son millones de ingenieros. Es un colosal ejército de mentes y la mayoría trabajando coordinadamente. El avance de uno es aprovechado por otros para avanzar más rápido. No se les puede cortar. En Estados Unidos estudiar es caro. A los mejores formaciones solo llegan las élites, y muchas veces estos hijos de millonarios lo que quieren luego es pulirse la pasta de papá. Llega gente, salen ingenieros americanos, pero no al ritmo de los chinos. Es que en China el acceso a la universidad es más…   

[#18 ralph]

Qwen y Deepseek están al más alto nivel en AI.
Incluyendo las "closed AI".

Y lo que se viene... siguen mejorando a pasos enormes.

Mientras en la UE ponemos barreras a las AI con leyes estúpidas que los que las votan no tienen ni puta idea de nada.

[#32 ACEC]

#18 Esta claro que Skynet no va a nacer en Europa. Vamos... ni Skynet ni nada medianamente avanzado ni útil. A este paso vamos a ser la única región con coches de combustión y que usa Encarta para hacer los trabajos del insti.

[#11 llorencs]

#8 Un 607B necesitas un maquinon para poderlo ejecutar y no necesites horas en obtener una respuesta simple. Y no hablemos ya para entrenarlo.

Y en respuesta exacta, si se puede ejecutar en entorno aislado.

#8 exacto necesitas una máquina enorme que cuesta cientos de miles de euros. Porque GPU es mejor para eso

Un modelo 70b o 128b o así sería ideal para mí para probarlo.

[#24 Jakeukalane]

#11 miraré cuanto puede costar, pero creo que es una sobreestimación.

[#29 llorencs]

#20 Si, pero no ejecutarlas un llama 72b. Un 8b es pequeño -mediano. Que puede servir para ciertas cosas. Pero siempre que sean escuetas.

#24 Me llegó propaganda de servidores para IA, los precios empezaban desde 500k. No me acuerdo del modelo de GPU.

[#30 Jakeukalane]

#29 el martes te confirmo. Monté hace dos semanas un server con dos H100, con espacio para 4. También hay servers que van con 8 gráficas. Sumando te puedo sacar el costo. Las H100 son muy caras pero no creo que llegue a precios tan desorbitados. Pero ya digo, hasta que no lo compruebe no puedo decir nada más

[#33 llorencs]

#30 Tienes razón, creo que añadí un 0 y mi cerebro aceptaba como válido. 50k si. Una GPU de esas pueden rondar los 25k

[#34 Jakeukalane]

#33 eso sí me encaja mucho. Un servidor normalito también puede rondar unos 20-25k a poco que tenga un poco más de memoria RAM, sea procesador dual o tenga una controladora RAID. Dependiendo del precio de las H100 saldría entorno a unos 200.000 sí pero no creo que llegase a 300.000. Ya te digo que hay otras opciones que compensan mucho más, aunque claro el problema siempre es la VRAM.
Acaban de salir las GB200 que se ofertan al mismo precio que las H100 y son descomunales, aunque de momento dudo que haya nada validado (creo que requiere refrigeración líquida).

[#5 Fingolfin]

Nos comen

[#6 BM75]

#5 Hizo gracia las primeras 50 000 veces...

[#7 ed25519]

#5 nos comieron ya hace mucho ahora estamos en el transito intestinal

[#10 Olepoint]

#7 ¡¡¡ por favor, por favor, que nos regurgiten y así no saldremos por el culo !!

[#16 azathothruna]

#10

[#19 randomizate]

#10 Si nada lo impide, y no parece que vaya a ser, nos van a cagar dentro de poco.

[#28 azathothruna]

#19 Y ni las moscas se van a acercar.

[#13 giputxilandes]

#8 la mayoría de modelos tienen una versión de escritorio que puedes usar en tu máquina.

Y digo la mayoría, porque la mayoría son libres/liberados, algunos propietarios no dan esa opción (como chatGPT, por ejemplo)

[#15 llorencs]

#13 En tu escritorio puedes ejecutar modelos pequeños de como mucho 7b, pero incluso diría que un 7b es mucho, 3.5b o menos. Para algunas tareas pequeñas pueden servir.

[#20 giputxilandes]

#15 dependerá de tu escritorio, porque con 32 G-ram, GPU y SSD te da de sobra para ejecutar un llama3 de 8b, por ejemplo.

[#27 alehopio]

#13 OLLAMA (Open-source Library for AI Models and Applications) es una aplicación capaz de cargar modelos largos de lenguaje (LLM) que ofrece una interacción mediante CLI, pero su verdadero potencial es su uso mediante API.
mitsuhakitsune.com/es/2024/03/21/ollama-tu-ia-privada-y-gratuita-simil
Nos permite conectarla y utilizar cualquier interfaz de nuestra preferencia, pero no sólo eso, si no que podemos conectarla con otros proyectos LLM como LangChain y expandir aún más su potencial

[#12 urannio]

definitivamente solo los países y naciones que estén apostando e invirtiendo en la producción de energía podrán hacerse con el control mundial del AI. Básicamente la energía nuclear será fundamental.

[#1 tyrrelco]

¿Hay alguna otra fuente de esta noticia que no sea este blog?

[#2 Tkachenko]

#1 www.scmp.com/tech/tech-trends/article/3293050/meet-deepseek-chinese-st

[#4 tyrrelco]

#2 gracias

[#3 migrad]

#1 composio.dev/blog/notes-on-new-deepseek-v3/ es un modelo 607b. Vamos, un modelo de 600 GB para los que no estén puestos.

[#8 WarDog77]

#3 ¿Entiendo entonces que pueden operar en un equipo aislado sin conexión a internet?

[#26 xyria]

#1 Hay muchas, pero te diré que llevo usándolo como un año o así (no recuerdo bien) y va genial.