Le estás pidiendo mucho a una Pi.
La Raspberry es un PC bastante escaso, si bien podrías hacer todo como bien indican con un Raspbian, no esperes mucha fluidez al navegar y seguramente te lleves más de un tirón al reproducir vídeos si tienes las descargas andando.
Yo tengo una Raspbian para Samba, Plex, Home Assistant , Flexget y Transmission, y cuando Transmission está descargando rápido (2-3MBs) el resto del sistema va bastante lento, por eso intento dejar las descargas solo para la noche.
Así mismo, si estoy reproducciendo algo que está siendo compartido por Samba, si el vídeo es grande, también se lleva algún tirón si Flexget se arranca a hacer algo.