Pero vas a necesitar no solo gráfica si no espacio de disco y ram, calcula aproximadamente y de forma muy burda que el número de parámetros (7billones, 8 billones ...) es el doble de la ram que necesitas, así que para el de 8b necesitas unos 4,5 o 5gb de ram. Para el de 32 son unos 20gb
Y conforme uses modelos con mas parámetros, aunque quepan en ram, dependerá de tu capacidad de cálculo (la cpu si no tienes gráfica, o la propia gpu)
funcionar va a funcionar muy probablemente, y será inteligente lo uses con una 3060 o una 5090, pero los tokens/segundo (las palabras generadas por segundo, para entendernos) van a ser diferentes y según el modelo lo harán inusable
#3 por lo que he leido lo importante es la RAM
Si se pudiera poner a un procesador equivalente a un 486 varios teras de RAM podría moverlo (Aunque supongo que aumentaría la latencia bastante)
Mola mogollón con la musiquita asi toda engorilante, casi te hace desear poder ver ya estos cacharros por las calles persiguiéndote armados implacablemente.
#16 Si no salen en lista de pendientes, no las verá ni perri y no subirán a portada, y al menos yo no tengo intención de perder el tiempo en subir un contenido que verán cuatro gatos, cuando se implemente pondré todo en el sub mnm o actualidad y a correr.
Si se hace "ese truco" ahora (curioso llamar truco a algo que es propio del funcionamiento y programación del sitio) es simplemente porque los subs están rotos y no sirven para nada tal y como están ahora mismo, y si no haces el cambio de sub sencillamente el envío no lo ve nadie, ya te digo que por lo menos a mí, me encantaría poder subir envíos al sub que fuera, poder desentenderme y no tener que estar pendiente media hora para hacer el cambio para que la noticia tenga un mínimo de visibilidad...
Pero vas a necesitar no solo gráfica si no espacio de disco y ram, calcula aproximadamente y de forma muy burda que el número de parámetros (7billones, 8 billones ...) es el doble de la ram que necesitas, así que para el de 8b necesitas unos 4,5 o 5gb de ram. Para el de 32 son unos 20gb
Y conforme uses modelos con mas parámetros, aunque quepan en ram, dependerá de tu capacidad de cálculo (la cpu si no tienes gráfica, o la propia gpu)
funcionar va a funcionar muy probablemente, y será inteligente lo uses con una 3060 o una 5090, pero los tokens/segundo (las palabras generadas por segundo, para entendernos) van a ser diferentes y según el modelo lo harán inusable
Si se pudiera poner a un procesador equivalente a un 486 varios teras de RAM podría moverlo (Aunque supongo que aumentaría la latencia bastante)
Si se hace "ese truco" ahora (curioso llamar truco a algo que es propio del funcionamiento y programación del sitio) es simplemente porque los subs están rotos y no sirven para nada tal y como están ahora mismo, y si no haces el cambio de sub sencillamente el envío no lo ve nadie, ya te digo que por lo menos a mí, me encantaría poder subir envíos al sub que fuera, poder desentenderme y no tener que estar pendiente media hora para hacer el cambio para que la noticia tenga un mínimo de visibilidad...
Cc @imparsifal @eirene