Si no lo has instalado desde el gestor de paquetes de ubuntu (apt, synaptic, aptitude, etc), desde el gestor de paquetes no lo vas a poder quitar y, desafortunadamente, no hay una forma de saber qué archivos has instalado.
Mira a ver si en lo que te bajaste e instalaste hay un uninstall o indica en algún README cómo desinstalarlo. Si no, te va a tocar buscar y eliminar a mano.