Noticia de Ollama para TW

Español (Spanish) Charla General
1

Hola: el día 12 salio una noticia de ejecutar Ollama en TW de forma local.

En principio no se que era, pero según algunos videos y comentarios es como una IA en local .

Estuve mirando la noticia y en la traducción sale una frase que dice : asegúrese de que su sistema esté actualizado .

y debajo pone zypper ref y zypper up (abreviado) , en TW no se debería usar zypper dup ? según tengo entendido .

Otros comentarios por la web, dice que va bien en linux y windows (pero algo peor en mac) , también comenta que detecta bien la gráfica ¿ me supongo que para TW, debe tener los drivers instalados ? .

Otra duda que se me presenta, es si está para linux ¿ se podrá ejecutar en Leap? .
Otra mas es que se comenta que necesita mucha ram , (dependiendo lo que se cargue , en los videos explican que es cada uno y lo que ocupa) , lo que no se es si es del pc (ddr) o bien la ram de la gráfica , según tengo entendido es de los dos tipos ( el que lo probo lo hizo con 16GB) .

Lo comento , porque tengo curiosidad de como es, que analogía puede tener con otras IA (unos comenta que es como un chatgpt, otros como un dock,etc…)
En mi caso estoy limitado por ahora a un portátil y una WS, pero no tengo instalado TW, y por otro el solucionar problemas y investigar y terminar tres equipos .

Ya uno le he solucionado el tema de la RL , por lo que seguiré con el montaje , en el caso de probar ollama, puedo cambiar las configuraciones, como usar una 4090 (tengo 2 disponibles) y memorias de 64 o 128Gb (todo en base de las experiencias de el que lo pruebe, vamos no me quedare con los comentarios y videos que he visto, si no probar lo con un linux que me guste (en este caso OpenSUSE, ya sea posible en Leap o si no en TW) .

_DSC3311a
_DSC3311a1920×1563 364 KB

Los candidatos son 13900k y 14900k (que desde un principio, estaba pensado para montar una IA)

Saludos

2

Han pasado un montón de días :stuck_out_tongue: pero te respondo… supongo que si has indagado más tendrás ya respuestas.

yo siempre hago dup

Yo lo que he probado, pensando en quitarme un chatgpt de pago ha sido con LLMStudio y mi experiencia no es del todo buena. Me quedo corta con mi hardware, los 64 de RAM son suficientes, pero la 3080 de 12GB se queda muy corta la memoria. Los modelos que mejor van son muy muy grandes, y si quieres un nivel potente, tienes que irte de 30GB de VRAM para arriba… si haces offload, y parte del modelo no lo cargas en la tarjeta y tiras de la RAM del sistema para mi se hace lentisimo y para ser productivo no sirve.

Estuve mirando poner dos tarjetas, que al igual es lo que planteas al decir que tienes dos 4090. Por lo que leí está muy en pañales esa posibilidad, por ahora tiran siempre de una sola tarjeta y no comparten VRAM entre tarjetas, pero la comunidad estaba trabajando en ello. Pero claro, también necesitas de fuentes de alimentación para eso y una placa ya más profesional, que no se si es lo que tienes, que te dos pci con muchos carriles, y imagino que los Ryzen no están pensado para eso…

3

Hola:
4090 viene con 24Gb y es una por equipo, solo tengo dos y compre una 5080 (viene con 16GB al igual 5070 TI ) .

Cuando termine de solucionar los problemas de los pc , intentare hacer pruebas con ollama u otro posible programa de IA.

Las fuentes que tengo son de 1350W, 1650W ,1200W Asus y otra Asus que he mandado a pedir (bueno la compra ha sido de mas de 3500€ y la hice ayer , la 5080,f.a. Asus, discos M2 de 4T, mas 4 discos de 2T ,mas ventiladores para los radiadores, pads térmicos, discos WD de 4Tb tipo gold (amarillo) , y muchas mas cosas…) .

En cuanto las PB son asus, todas valen mas de 800€ , el micro son 2 de icore 9 14900k y otro un 13900k , en memoria 7200MHZ ddr 5 (2 equipos van con 64Gb y otro con 128GB ) .

Gracias por la información que has dado y saludos cordiales