Si lo haces con la opción de compartir archivos del sistema, cuando entras en preferencias del sistema -> Compartir -> Compartir archivos.
Ahi puedes seleccionar las carpetas que compartes en red, y en el cuadro del al lado tienes los usuarios a los que se les permite el acceso.
Con quitar los permisos al perfil Todos, ya no podrían ver los archivos, y solo podrías acceder autenticando desde el dispositivo que quieras.