Yo uso MinGW en máquinas con Windows desde hace mucho, y nunca he tenido el menor problema. Sólo añadir al PATH la ruta donde se encuentran los ejecutables (su carpeta /bin) y listo. No hace falta instalar nada, siquiera.
¿Exactamente cómo estás llamando al compilador, si se puede saber? ¿Y cuáles son los errores "literales" que te da? Imagino que simplemente no estás incluyendo los parámetros necesarios (-I, -l, ...) a la hora de compilar tu código.
En cualquier caso, si no quieres complicarte mucho la vida, utiliza algún IDE de las decenas de opciones que tienes disponibles. Mi preferido sin lugar a dudas es Code::Blocks, open-source, GPLv3, multiplataforma, etc. Desde su web (
http://www.codeblocks.org) tienes la posibilidad de descargar un paquete para Win32 con instalador que incluye además MinGW de serie, con todo ya configurado para que no tengas problemas si quieres algo tipo "instalar y listo".