El Matlab está bien, pero está más orientado al campo de la ingeniería, ramas de electricidad/electrónica, regulación automática, control de procesos, mecánica, etc...
Algo más "puramente matemático" sería el Mathematica que alguien ya ha mencionado por ahí arriba o el Mapple.
Las dos grandes diferencias del Matlab con esos otros que menciono es que Matlab trabaja con aproximaciones (por ejemplo, 1/3 para matlab es un 0.3333333333... finito, mientras que los otros lo pueden tratar como la fracción tal cual, así no hay aproximación), y la segunda es que Matlab en realidad trata todo (variables, operaciones, etc..) internamente como matrices, de forma que para algunos cálculos hay que tenerlo en cuenta. De hecho, el nombre Matlab no viene de MAThematics LABoratory, sino de MATrix LABoratory.