En mi opinión no tiene nada de malo meterse en ensamblador, no es ninguna quimera, vamos, y no debes tenerle miedo a nada. Solo tienes que tener claros dos conceptos:
1- El ensamblador no es universal, cada cpu tiene su propio ensamblador, así que pegarte el curro de aprender asm de un motorola 68000 no te va a servir demasiado para emplear ensamblador en un 486 (salvo por el hecho en si de tener ya claro como funciona la programación a bajo nivel), por ejemplo, porque cada uno tiene su propia implementación de sus propios mapas de memoria (hexadecimal siempre es hexadecimal, pero como está fragmentada para cada uso siempre va a ser diferente), su propio comportamiento de sus registros, su propio juego de instrucciones con su funcionamiento particular por cuestiones de arquitectura, etc.
2- No empezar a aprender ensamblador hasta no hacerse un mapa mental de como está estructurada su programación (esto incluye la arquitectura del hardware concreto), de manera que una vez dibujada en tu cabeza su "forma", puedas situar todo lo que aprendas en su sitio concreto, y no de forma abstracta.