Lo unico peligroso de quitar la bateria (o tener presionado lo del power 5/6 segundos que es mas aconsejable) es para no cargarte la MS por si acaso se ha quedado pillada leyendo o grabando. Si ya la has quitado y todo puedes apagar la PSP con tranquilidad, que si te has cargado la MS, cargada esta (tampoco te acojones que normalmente no sucede nada).
Por la PSP no te asustes tampoco, que si la cosas se jodiesen asi de facilmente los PC's con Windows estaban todos en el basurero xD