Sólo tendrías que seguir las instrucciones que aparecen al principio del enlace y cuando llegues al apartado de Setup sólo tendrías que descomentar las partes que ponen quantization_config y comentar la línea que te indica donde define el tipo de tensor. Con eso te ocuparía el modelo en memoria unos 5Gb
Si no te llega con tu tarjeta, puedes probar con Phi3 Mini como dice #38. Es cuestión de cambiar el modelo y el tokenizador al modelo de HuggingFace correspondiente. Ese ronda los 2.5Gb. Y si no siempre puedes ejecutarlo con CPU, aunque te aviso que es muy lento aunque tengas un buen procesador.
LOIC: goo.gl/vTMp8
Para correr en linux, háganlo con mono y ejecuten el LOIC.exe de la carpeta debug, recuerden poner loic.anonops.net puerto 6667 canal #loic en el hive (arriba de la ventana).
hping3: goo.gl/lp8FB
pyloris: goo.gl/GU0g7
Y además si estás en linux puedes hacer lo siguiente:
LOIC: goo.gl/vTMp8
Para correr en linux, háganlo con mono y ejecuten el LOIC.exe de la carpeta debug, recuerden poner loic.anonops.net puerto 6667 canal #loic en el hive (arriba de la ventana).
docs.llamaindex.ai/en/stable/examples/cookbooks/llama3_cookbook/#setup
Sólo tendrías que seguir las instrucciones que aparecen al principio del enlace y cuando llegues al apartado de Setup sólo tendrías que descomentar las partes que ponen quantization_config y comentar la línea que te indica donde define el tipo de tensor. Con eso te ocuparía el modelo en memoria unos 5Gb
Si no te llega con tu tarjeta, puedes probar con Phi3 Mini como dice #38. Es cuestión de cambiar el modelo y el tokenizador al modelo de HuggingFace correspondiente. Ese ronda los 2.5Gb. Y si no siempre puedes ejecutarlo con CPU, aunque te aviso que es muy lento aunque tengas un buen procesador.