Pues según la pasta que te quieras gastar ....
Si dispones y no tienes problemas con el tamaño de la pantalla, iría al 6 de cabeza, pero si quieres un móvil normal en tamaño, iría a por el 5.
Ten en cuenta que el nexus 6, es un télefono de ultima generación y tiene el mejor hardware idéntico al note 4.
En cualquier caso, no te equivocarás en tu elección, son buenos teléfonos ambos.