Sucesos

encontrados: 3, tiempo total: 0.004 segundos rss2
#33 Con una gráfica de 8Gb puedes cargar cualquier modelo 7B y usarlo sin demasiados problemas.

docs.llamaindex.ai/en/stable/examples/cookbooks/llama3_cookbook/#setup

Sólo tendrías que seguir las instrucciones que aparecen al principio del enlace y cuando llegues al apartado de Setup sólo tendrías que descomentar las partes que ponen quantization_config y comentar la línea que te indica donde define el tipo de tensor. Con eso te ocuparía el modelo en memoria unos 5Gb

Si no te llega con tu tarjeta, puedes probar con Phi3 Mini como dice #38. Es cuestión de cambiar el modelo y el tokenizador al modelo de HuggingFace correspondiente. Ese ronda los 2.5Gb. Y si no siempre puedes ejecutarlo con CPU, aunque te aviso que es muy lento aunque tengas un buen procesador.
Hay más cosas que podeis hacer:

Reclutando gente:

IRC: irc.anonops.net
canal: #operationpayback
canal: #OperationPaybackHispano
canal de ayuda: #setup

Herramientas:

LOIC: goo.gl/vTMp8
Para correr en linux, háganlo con mono y ejecuten el LOIC.exe de la carpeta debug, recuerden poner loic.anonops.net puerto 6667 canal #loic en el hive (arriba de la ventana).

hping3: goo.gl/lp8FB

pyloris: goo.gl/GU0g7

Y además si estás en linux puedes hacer lo siguiente:

sudo ping -f sitio_web

El twitter: twitter.com/Anon_Operation
Reclutando gente:

IRC: irc.anonops.net
canal: #operationpayback
canal: #OperationPaybackHispano
canal de ayuda: #setup

Herramientas:

LOIC: goo.gl/vTMp8
Para correr en linux, háganlo con mono y ejecuten el LOIC.exe de la carpeta debug, recuerden poner loic.anonops.net puerto 6667 canal #loic en el hive (arriba de la ventana).

hping3: goo.gl/lp8FB

pyloris: goo.gl/GU0g7

Y además si estás en linux puedes hacer lo siguiente:

sudo ping -f sitio_web

El twitter: twitter.com/Anon_Operation

menéame