Efectivamente tendrías que hacer lo que dices, aunque claro que perderías el Ubuntu actual (aunque siempre podrías dejar la partición /home, si la tienes por separado de la raíz, y se guardarían tus configuraciones y cosas así). Borrar Ubuntu sería más "fácil", depende de si quieres volver a instalarlo luego desde cero o no.
También puedes instalar Windows 7 ahora, pero Windows elimina todo gestor de arranque que no sea suyo, por lo que tendrías que instalar más adelante GRUB a mano (no es muy difícil).
Pero por lo que veo tu problema y duda es más relacionado con Windows, sobre cómo instalarlo desde un USB. Por la Red hay muchos tutoriales sobre ello.
