Si sólo quieres ver los FPS y no más cosas, en la Game bar que viene en Windows 10 puedes hacerlo, sin instalar nada.
Sino, el afterburner con rivatuner como indica @lerelerele , pero tiene más historias a configurar (aunque tb es mucho más potente y puede dar muchos más datos que la Game bar)