Es muy facil, en
Mi Pc -> ver -> opciones de carpeta
Selecciona la pestanya "ver" y hay una opcion que dice mas o menos "ocultar extensiones de archivos conocidos", desactivala, no se por que cohones viene activada por defecto...
Ahora en el explorador (en cualquier ventana que abras) te saldra el nombre de archivo con su extension...
Selecciona el archivo que quieres cambiar de nombre (o extension) y haz click justo en el nombre del archivo. Ahora lo estaras editando, el resto es cosa tuya ;D
PD: No hace falta tener desactivada la opcion de ocultar la extension para cambiar el nombre, pero es recomendable desactivarla...
PD2: Tambien puedes utilizar click derecho (senyalando el fichero)
-> cambiar nombre.