Echando un vistazo rapido por internet he encontrado esto:
Añadir números en el pie de página es sencillo. Primero se añade pie de página navegando de esta forma a través de los menús: Insertar/pie de página/predeterminado Y luego pulsando dentro se añade número de página: Insertar/campos/número de página. (hacedlo en la primera y en la segunda para que aparezcan en todas)
Fuente: bulma.net
Lo he probado y funciona, otra cosa es que haya alguna manera de hacerlo mas rapida o sencilla, ya que OpenOffice no lo uso porqu elos documentos que yo redacto brillan por su ausencia