IA en local con gpu AMD con pocos recursos

Hola a todos: como tener (IA chat) en local con la tarjeta gpu de amd (ATI Radeon),
LM Studio tiene la posibilidad de utilizar la gpu de AMD, puedes utilizar o bien la CPU o la GPU esto interactúa con vulkan ( controladora de GPU de opensuse,creo) que tenemos en tumbleweeb.
No puedo tener modelos que nesecitan mucha memoria, así que solo he podido utilizar varios de ellos:
Granite 3.0 3b que es de IBM
Hermes 3 llama 3.23bde Google
Llama 3.2 3b comunitario

con buenos resultados teniendo en cuenta que es una (IA en LOCAL) sin internet
para seleccionar la GPU en LM Studio en la parte izquierda arriba ,tenemos de arriba abajo chat,desarrollador,modelos y descubrir o buscar.
en desarrollador y seleccionar en LM Runtimes la GPU (Vulcam).
y este es el resultado


la velocidad es muy buena ,teneis que seleccionar la cantidad de GPU que queréis al cargar al cargar el modelo :

Es la primera vez que utilizo IA en local sin que el pc se caliente como una plancha ,me imagino que tambien funcionara con intel y nvidia ,probar y comentar si es posible.
Salud y saludos

1 Like