Lo mejor para hacer homebrew para PSP es usar Linux.
Puedes hacerlo desde Windows instalándote el Cygwin, el toolchain y el PSPSDK
Aquí hay unos buenos tutos (en inglés, eso si), muy buenos diría yo, que te orientan desde como crear el primer "hello world" hasta usar el libmad.
La instalación tarda muchas horas (depende de tu ancho de banda y de las especificaciones de tu PC)
También te puedes instalar el entorno bajo el propio Linux.
Puedes seguir
este tuto para instalar todo el entorno de desarrollo en tu Linux.
Es muy fácil. Te descargas una serie de paquetes, te descargas y ejecutas el toolchain y luego haces lo propio con el PSPSDK (usando subversion).
Con esto tendrás lo básico, pero siempre puedes ir añadiendo librerias e includes.
Aquí tienes una buena página que contiene muchos de ellos (aunque últimamente parece que tienen problemas con el hosting jeje).
Por supuesto, si quieres entrar en contacto con C te recomiendo que le eches un ojo al enlace que te han puesto de Alek o a alguno que puedas encontrar por la red para iniciarse en C.
Salu2.