algunas distros pensadas para ser usadas en equipos de pocas prestaciones ya lo tienen preinstalado y funcionando (cuestión de ver si está instalado simplemente desde cualquier gestor de paquetes que tenga la distro que uses), y aún así tener una partición o archivo para memoria virtual sigue siendo inevitable, solo que lógicamente aguantará más antes de verse en la obligación de tirar de el con el rendimiento perdido que implica.
Lo que si digo nuevamente es que no es igual poner una tarjeta SD que escriba a 13mb/s que una que escriba a 80mb/s (bajo mi punto de vista, para algo como rular un S.O. o aplicaciones desde una tarjeta yo no bajaría de una "U3", nada de "clase 10" a secas ni "U1"), es una diferencia muy abultada que puede pesar en el equipo y que puede hacer que vaya ágil a la hora de leer/escribir o quedarse medio tonto mientras está en el lio.
También recuerdo ahora que hay algunos formatos de particiones en Linux que son más óptimos para dispositivos de almacenamiento tipo SSD o pendrives/tarjetas de memoria, Btrfs por ejemplo creo que era mejor que usar la habitual Ext3/4.