Lo de la latencia depende de tantas cosas, desde el codec que use (hay codecs de baja latencia pero que rara vez lo soportan las teles y de Bluetooth LE Audio nunca más se supo y era el estándar que iba a revolucionar todo), el dispositivo que uses y lo bueno que sea para retrasar la imagen de modo que el audio esté sincronizado. Truco que sirve para ficheros multimedia o streams pero no para jugar por ejemplo.
Si tu tele soporta audio por USB me plantearía también no usar bluetooth y, en su lugar, auriculares con receptor inalámbrico USB propietario, aunque quizá sea más engorro cambiar entre altavoz de la tele y auriculares así.