En cuestión de dificultad, de menor a mayor: hablar -- escribir -- leer
Mi consejo es que te centres más en el japonés hablado y que no te deprimas si jamás aprendes a leerlo y escribirlo a un nivel competente

El japonés es un idioma que se deja aprender moderadamente bien de manera autodidacta, aunque estaría bien que cuando tengas cierto nivelillo te apuntes a la EOI o contactes con algún nativo.
Respecto al manga, va muy bien el que lleva furigana, pero ojo con el tipo de manga porque puedes acabar con un vocabulario y expresiones un poco chungas (y lo mismo con el anime, que hay mucho flipaíllo que se cree que puede aprender japonés repitiendo las palabrotas de Bleach)

De todas formas, yo no me pondría a leer nada hasta tener una base decente -qué sé yo, al menos la gramática básica y unos 100 kanji-.
Y bueno, no es necesario saber japonés para viajar, igual que no es necesario saber inglés para ir a Estados Unidos o francés para ver París. Pero es lo que dice vadercillo: si vas hablando en inglés por Japón, podrás sobrevivir, pero te van a entender cuatro gatos y te va a responder uno y medio (y con un acento que raya lo surrealista). Es decir, más o menos como aquí, o incluso peor.
Sobre los libros, de lo que ha salido en España en los últimos años no tengo ni idea. Yo lo que tengo son los libros que usábamos en la universidad de allí, pero son japonés-inglés y no se venden fuera de la universidad. Hace siglos estaba de moda el Japanese for Busy People como método rapidillo, aunque flojeaba por bastantes lados, pero creo que con cursos online vas que chutas para empezar. Lo que sí te recomiendo es "Kana para recordar", el libro con el que aprenderás los silabarios en dos o tres tardes, garantizado
P.D.: Si hay un idioma con facilidad para borrarse de tu cerebro, ese es el japonés. Yo llevo sin usarlo cinco años y me acuerdo de lo mismo que hace tres. Es decir, de los números y los colores