Summit G5 DUOC UC
7 de diciembre de 2024LLMs on GSM8K
7 de diciembre de 2024Tener IA corriendo en un ambiente privado es, frecuentemente, una necesidad. ¿Cómo rinden las tarjetas gráficas en la vida real, cuando se trata de modelos de IA?
Una prueba de las tope de línea no profesionales de AMD y NVIDIA, que permiten cargar modelos de hasta 24 GB de tamaño en la GPU. Radeon 7900xtx v/s GeForce 4090 en Linux.
Muchas gracias a GIGABYTE en Chile: Claudia Garcia Nicolás Ignacio Sánchez Negrete por el apoyo constante en proveer este hardware increible para pruebas.
Gracias totales también al equipo de AMD en Chile Danilo Candia Rodríguez y Juan Moscoso por conseguir GPU para testing... ya estoy preparando más posts.