no tienes que hacer nada, yo le daba a aceptar y la mayoria de las veces se conectaba, repito la mayoria (no siempre) se acaba conectando.
normalmente eso ocurre porque tu colega te invita cuando aun hay sitio en esa partida pero si dicha partida se llena es normal que no te deje entrar, tambien puede ser debido que tu colega tiene unos modos de juego abiertos y tu no.
lo ideal para jugar con colegas Online es que tu lo invites a el o el a ti sin haber entrado ninguno de los 2 ( o 3 o 4 o 5...) en ninguna partida!!!, una vez los 2 en la misma sesion, es decir a mano derecha arriba solo aparecen tu nombre y el de los colegas que hayas invitado, el que haya realizado la invitacion le va a permitir buscar partidas arriba a mano izquierda, apareciendo desabilitadas las modailides de juego que no tengais habilitadas alguno de los 2.
Un saludo y espero que te sirva de algo.