Si te va lento quita todos los servicios que no uses, en kde tambien puedes quitarle efectos y chorraditas graficas para que funcione mas rapido.
Lo de la memoria llena es normal cuando el equipo lleva tiempo encendido.
Mientras tengas memoria libre el kernel la va llenando con datos que prevee que puedas utilizar en el futuro, asi en caso de necesitar esos datos ya estaran en la ram y no perdera tiempo cargandolos del disco duro, por eso tienes la swap practicamente sin usar ya que no necesita mas memoria.
Ejecuta free desde una consola y veras lo ocupado por la cache.
Saludos