Hazte un dibujo de un segmento, en un extremo tienes la tierra y en el otro extremo , la Luna.
Sitúa al azar un punto cualquiera del segmento
La distancia que separa el extremo de la tierra al punto es h
La distancia que separa el punto del extremo de la Luna es igual a la distancia total del segmento-h
CUTRE-DIBUJO (que estoy en linux y paso de hacerlo con el GIMP, estas cosas son con paint
)
T-tierra
L-luna
p-punto
h-distancia tierra al punto
KM-distancia tierra a la luna
|-------------KM---------------|
T------p------------------------L
---h---
Luego, tu formula queda:
(MT/(RT+h)²)=(ML/(RL+(KM-h))²)
El problema es que en tu formula estabas planteando que la distancia de la Tierra al punto era la misma que la de la Luna al punto, luego el resultado sólo sería correcto si el punto estuviese en el punto medio (y como las masas y radios de la Tierra y Luna son distintos, obviamente estaba mal)