Vamos a ver, supongo que te he visto afirmar (y simplificar al absurdo) este tema en varios hilos simplemente por desconocimiento técnico, pero normalmente hay que ser más cauto con temas de los que se rascan únicamente la superficie, porque más que posiblemente estés fallando el tiro. El "yo veo y afirmo" le sirve hasta a un terraplanista... xD
Lo dicho, vamos al lio sin hacerlo muy farragoso: existen multitud de motivos y de puntos donde se generan cuellos de botella, como ya te han dicho varias personas... CPU, memoria o almacenamiento/velocidad de transmisión de datos son algunos de los más importantes.
Las tecnologías actuales (y las de hace un par de generaciones, por ejemplo, gracias a los motores Unreal Engine y similares), usan un streaming de datos paralelo o en segundo plano, por ejemplo, para cargar elementos como las texturas mostradas en pantalla. En la generación PS360 vimos multitud de problemas asociados a falta de velocidad en esa transmisión de datos que generaban una carga progresiva (y cantosa) de texturas que podían llegar a afear el resultado estético de un juego.
Si no se evoluciona y mejora en cuestiones de transferencias de disco y/o velocidad de buses, muchos elementos actuales serían imposibles de llevar a cabo porque ese punto lastraría sobremanera al resto, y marcaría un punto mínimo para el desarrollo. La memoria RAM es importante y es más rápida, pero obviamente con el aumento de, vuelvo a usar el mismo ejemplo, las texturas (por la mayor resolución que se usa en cada generación) son imposible almacenarlas en ese elemento, con lo que, de nuevo, volvemos a que la transmisión de datos del disco es fundamental para la carga de elementos y que todo el engranaje funcione y vire al máximo de rendimiento posible.
No, no se trata de que "somos unos exagerados, total, solo se trata de tener menos tiempo de carga". No, se trata de comprender de qué se habla, de saber que por debajo todo funciona en base a una potencia y a una velocidad que marca los resultados que se pueden obtener. A todos los niveles. Y el correspondiente a la velocidad de disco es uno de los pilares más grandes donde se asientan los motores pasados, presentes y futuros.