chirurico escribió:no quiero desviar mucho el debate, pero me llama la atención ciertos comentarios que quisiera matizar.
Lo primero
@katatsumuri aunque no dudo que Microsoft vaya a implementar esta IA en la nube, porque es su negocio y dispone de los elementos para ello, estás muy equivocado al pensar que un LLM no se puede ejecutar en local. Tienes montones de ejemplos, desde GPT-2, BERT, XLNet, FastText, Flair por citar algunos... anda que no hay.
Muchos de ellos van preentrenados (de ahí su ligereza y la reducción de recursos necesarios, y los resultados son increibles) pero hay muchos factores que influyen, como la complejidad del propio LLM de base, la capacidad de actualización, el tamaño del conjunto de datos y en muchos casos (como este de ser usado solo para soporte o el ejemplo de los NPC) el ser utilizados para funcionalidades específicas.
De hecho, la propia Microsoft ha anunciado que va a meter Copilot en el sistema operativo sin nube, que no tendrá el vasto poder de ChatGPT o Bing Copilot, pero puedes flipar mil veces con los resultados.
Así que no nos encajonemos con que la IA sin nube, con buena calidad, es imposible. Aunque está claro que el poder de la nube hace un salto cualitativo importante.
@AzagraMac empresas que se están repatriando de la nube son muy pocas (había por ahí un articulo de Xataka que si te leías la fuente original veías lo sesgado que estaba) y una de las principales razones es que las empresas, ni hacen el businesscase correctamente al plantearse los costes, ni hacen correctamente el paso de las cargas de trabajo. Y a nivel seguridad, por poner un solo ejemplo, en mi opinión, volver al hierro es volver a la edad de piedra, pero si no hiciste bien el ejercicio al ir a la nube (o no te aconsejaron bien, que hay cada "experto" por ahí) probablemente sigas sin hacerlo bien al volver y pierdas dinero 2 veces.
Pero vamos, para eso están los datos, que las empresas que repatrían sus activos son mínimos (desde luego ninguna del IBEX 25 ni del Fortune 500) y las que se suben son cada vez más, por abrumadora diferencia.
En lo que estoy de acuerdo, lo vemos con las energéticas u otras empresas de recursos, es que te pones en manos de un proveedor y aumentas la dependencia. Por eso las grandes usan AWS, Azure y GCP en paralelo para no tener que sufrir extorsión y poder mover workloads. Los precios no han subido a lo loco en los últimos tiempos (pero sí que han subido) y si pensamos que montar uno o varios CPD es barato es que no sabemos de que va esto.
También puede ser que hables de empresas que tienen su CPD en el cuarto de las escobas o en su edificio, y entonces entiendo que hasta que haya madurez para irse a la nube, pues todavía les falta.
Perdonad el tocho.