Si das a CTRL-ALT-F1 vas a una consola, pero el entorno gráfico sigue lanzado. Por eso te da error al lanzar startx, ya que las X ya están corriendo. Si vuelves a esa sesión de X-Windows volverá a 1080p ya que esa sesión se lanzó a esa resolución.
Lo que tienes que hacer es salir de las X-windows. Vete a una consola con CTRL-ALT-F1 y entra como root. Ejecuta el comando "init 3" y pasarás a un modo de ejecución sin las X arrancadas por defecto. Ahora ejecuta el ps3-video-mode y pon el modo que quieras. Ejecuta "init 5" y las X ahora arrancará en el modo que has puesto.
Como te he dicho por MP, para no tener que hacer esto todas las veces que arrancas linux , cambia el modo de video por defecto en el archivo de configuración de arranque que uses (normalmente uno de estos archivos /etc/yaboot.conf , /etc/kboot.conf , /boot/etc/yaboot.conf /boot/etc/kboot.conf ) cambiando donde tienes video=ps3fb:mode:5 (1080p) por video=ps3fb:mode:3 (720p)