jnderblue escribió:Ninguna empresa por pequeña que sea va a comprar una 4090 para IA cuando por menos precio tiene una A5000 que rinde mejor para ese fin.
No estoy para nada de acuerdo. Primero, porque para encontrar una A5000 a precios inferiores a una 4090 hay que ir a proveedores "dudosos" (como la que está a 1800€ ahora en amazon, lo que veo en otras tiendas nuevo pasa los 3000), que muchas veces no es una opción para una empresa que tiene que comprar nuevo, con factura, IVA, etc. aunque sea más caro. Y te lo digo porque tengo que sufrir eso mismo con frecuencia, de ver cosas que cuadran muy bien de segunda mano pero no hay forma de justificar el gasto y toca pagar todo nuevo aunque se te quede cara de tonto de los márgenes que tienen.
Y segundo, porque me gustaría saber en base a qué opinas que es mejor una A5000 para IA. Tiene la misma VRAM, la mitad de tensor cores, y mucho menos ancho de banda a memoria. Incluso si tuviera más VRAM, creo que sería discutible, porque una cosa es poder usar batch sizes más grandes para hacer lo mismo en menos épocas y otra cosa es que solo con esa ventaja se pueda suplir la drástica desventaja en "músculo" que hay entre ambos chips.
Precisamente el problema que existe, creo yo, es que las gráficas de juegos son
demasiado buenas para IA para el precio que tienen. Eso es bueno, porque hasta cierto punto "democratiza" que un usuario particular pueda entrenar modelos medianamente serios sin tener que hacer una inversión de hardware específico. Y a la vez malo porque hace que en muchos casos sea más rentable comprar 3 o 4 gráficas de juegos de gama media-alta que invertir la misma cantidad de dinero en una TPU para IA (que va a rendir menos, pierde valor muy rápido, y no se puede aprovechar para prácticamente ningún otro uso)
Saludos