Igual que todo un archivo no es igual en su interior y tiene zonas mas fáciles o difíciles de comprimir también el tiempo puede variar según esas zonas, no todo es la velocidad del disco y uso del CPU.
Si no tienes problemas de CPU throttling, el disco duro va bien y no tienes tareas secundarias en marcha es que simplemente es así.