La carrera futbolística, como jugador, de Xabier Azkargorta fue muy breve. Ingresó en 1969 en las categorías inferiores de la Real Sociedad, donde pasó dos temporadas para después fichar por el eterno rival, el Athletic. En el equipo juvenil bilbaíno permaneció una temporada, la 1971/72. Sin embargo, en 1977 se ve obligado a retirarse de la práctica profesional del fútbol debido a una grave lesión en su rodilla derecha.