No sabría decirte un procedimiento específico para limpiarlo. Primero observa que los pins de contacto estén limpios, que no estén doblados, y que estén todos claro.
Hay mucho que comprobar, por ejemplo prueba a meter 1 juego de 2 jugadores y mete el mando en el otro puerto, a ver si es cosa de 1 puerto específicamente, o lo que falla son ambos.