Bueeeeeno, vamos allá:
Primero, bienvenido.
Con respecto a la conexión. Si la consola dice que está conectado por wifi G, no te quepa duda, está conectado por wifi G, eso son un máximo de 54mbps teóricos (20-40 realmente) En algunos casos da para algún video a 720p, pero normalmente no.
Obviamente te has asegurado de que tu router soporte el protocolo 802.11n o draft-n, así que vamos al trapo. Si tu router es un linksys, yo mismo he experimentado problemas a la hora de conectarlo con la Xbox360 Slim cuando tengo la autentificación en WPA (y a veces en WAP) la consola no reconoce el router en modo N, y si lo pongo en modo mixto se conecta a través de Wireless G. Prueba a cambiar la autentificación del router a WPA2 Personal. Si tu router NO es un linksys, o los problemas no vienen dados por la clave, asegúrate de que el router está AL MENOS en modo G/N, y si lo está, cámbialo a modo N solo.
Por mi parte, te puedo confirmar que por Wireless N veo perfectamente matroska en fullHD, sin saltos. Fíjate bien en el PS3 Media Server mientras reproduces el video:
En la primera pestaña, la de "Estado" Verás una barra que se debe ir llenando a medida que se va almacenando información en el buffer. Aquí viene el punto clave. Si la barra se vacía gradualmente hasta llegar a cero y a continuación notas que el video SE PARA en la Xbox360, el problema es que tu ordenador no está re-encodeando el video lo suficientemente rápido. Toca la configuración a ver si consigues alguna mejora. Si tienes un dual core o un quad core, activa la opción "Soporte multinucleo mejorado para contenido H.264 en HD".
Si, por el contrario, la barra de buffer funciona correctamente y sin estar vacía sigues notando parones en los videos, efectivamente es la red la que falla.
De todos modos te comento que puedes reproducir mkv desde Windows Media Center... Al menos a mí me detecta los .mkv y me los muestra en la biblioteca de videos, y puedo reproducirlos sin problemas.